规模法则的局限性
规模法则在人工智能领域曾被视为进步的黄金法则，即通过增加模型的大小和数据量来提升性能。然而，随着“Orion”和“Gemini”项目的性能提升未能达到预期，这一法则似乎遭遇了挑战。一些研究人员认为，这些模型在处理某些任务时并不比它们的前身更可靠。这表明，我们可能已经达到了某种形式的规模极限（scaling limit），需要寻找新的方法来推动AI的发展。
新方向：复合AI系统（composite AI systems）
为了突破规模法则的局限，业界开始探索复合AI系统（composite AI systems）。这些系统通过优化资源使用和为特定任务定制组件来提高效率和性能，而不是仅仅依赖于更大的模型。从早期的集成学习（ensemble learning）和多智能体系统（multi-agent systems），到IBM Watson的管道系统，再到Codex和AlphaCode的工具集成模型，复合AI的概念一直在不断演进。最近，伯克利人工智能研究所（BAIR）在2024年2月的论文中正式提出了复合AI系统的概念，将其视为提高效率和可扩展性的系统级范式（system-level paradigm）。
测试时计算（inference-time computation）的重要性
除了复合AI系统，测试时计算（inference-time computation）也成为提升AI性能的关键。OpenAI的o1模型展示了在推理期间允许模型“思考更长时间”可以显著提高其在复杂任务上的表现，而不需要显著增加模型的大小或数据量。这种方法通过战略性地解决成本-性能权衡（cost-performance trade-off）问题，推动了现有模型能力的边界。谷歌DeepMind和加州大学伯克利分校（UC Berkeley）的研究也支持了这一观点，他们发现优化测试时计算可能比单纯扩展模型参数更有效。
从规模到集成的转变
我们正处在一个转折点，AI的发展不再依赖于无限增长的模型，而是转向构建更智能、更高效、更深度集成的系统。这种转变意味着，我们将通过构建系统来实现突破，这些系统不仅能够推理，还能够根据推理采取行动，利用外部工具或工作流程。
结论
综上所述，AI的发展并非停滞不前，通过探索复合AI系统、测试时计算，以及系统级的集成和优化，我们有望开启一个更智能、更高效的AI新时代。
