2024年，人工智能领域呈现出技术融合、行业变革和全球竞争的趋势。OpenAI的推理计算规模扩大带来了性能提升，但同时也面临着成本和延迟的挑战。开源模型Llama 3.1 405B缩小了与闭源模型的差距，引发了对“开源”定义的讨论。研究人员开始关注数据集污染对模型性能的影响，并尝试纠正现有基准测试中的问题。
行业方面，NVIDIA在人工智能芯片领域的主导地位进一步加强，但其高昂的价格和供应限制也引发了一些担忧。越来越多的公司开始从模型构建转向产品设计，专注于提供更完善的用户体验。人工智能应用在各个行业快速发展，特别是在视频生成、语音识别和法律科技等领域。
全球人工智能竞争日益激烈，中国实验室在算力受限的情况下依然取得了显著进步。与此同时，各国政府开始加强对人工智能的监管，美国和欧盟分别通过了相关法规，而中国则加强了对模型审查和内容控制的力度。
一、研究前沿：技术融合与新范式探索
1. OpenAI的推理计算规模扩大：性能与成本的权衡
OpenAI o1模型的发布标志着推理计算规模扩大时代的到来。通过将计算资源从预训练和后训练转移到推理阶段，o1模型能够逐步推理复杂提示，并在解决多层数学、科学和编码问题上取得突破。
然而，o1模型的强大能力也伴随着高昂的成本：100万个输入token的o1预览版成本为15美元，而100万个输出token的成本为60美元，比GPT-4o贵3-4倍。 OpenAI明确表示，o1并非4o的替代品，对于需要快速响应、图像输入或函数调用的任务，它并非最佳选择。
2. 开源模型崛起：Llama 3缩小差距，引发“开源”定义的讨论
Meta发布的Llama 3系列模型，尤其是其最大规模的Llama 3.1 405B模型，在推理、数学、多语言和长上下文任务方面表现出色，首次缩小了开源模型与闭源模型之间的差距。
Llama 3模型的成功引发了对“开源”定义的讨论。研究人员指出，“开源”一词经常被误用，它涵盖了模型权重、数据集、许可和访问方法等方面截然不同的开放性实践。
