2024年5月，DARPA信息创新办公室宣布将启动“人工智能量化”项目，旨在开发评估人工智能性能的技术，以保证其可靠运行。
“人工智能量化”项目（图源：DARPA）
背景情况
随着社会迅速进入探索和应用人工智能以向人们快速传递信息的时代，保证生成式人工智能系统能力和限制的方法并不存在。对于这些能力何时以及为何能够运用，也不存在深入明确的认识。
DARPA长期投资人工智能研发。随着大语言模型的快速发展，DARPA将在该领域投资，以期填补最先进系统和国家安全应用之间的差距。
项目内容
针对生成式人工智能使决策更快的情况，DARPA寻求开发评估生成式人工智能的数学基础，并为在美国防部和全社会安全高效运用生成式人工智能提供可靠保证。该项目将试验一种假设，即数学方法与测量、建模技术相结合，能够保证量化生成式人工智能的能力。
“人工智能量化”项目将解决不同级别的量化和评估挑战：
一是具体问题级别，考虑单个输入和输出之间的映射。
二是问题类型级别，考虑输入和相关输出的集合。
三是自然类型级别，考虑通过选择架构或数据，哪些输入相对于输出表现良好。
经理评价
帕特里克•萨夫托表示，人工智能在文本生成、游戏等领域取得接近人类水平的表现，表明其与人类伙伴相集成具有广阔前景。该项目将确定如何保证人工智能系统具备解决不同问题的性能。
突袭鼠评
无法进行评估，无法保证安全。
在生成式人工智能爆火的情况下，DARPA入局从评估入手推动人工智能实际军用。
欢迎关注宣传，他日或能合作。
