LLM 性能提升已进入平台期，边际效益递减。 简单地扩大模型规模带来的性能提升有限，就像油画创作从大笔触的构图阶段进入到需要用越来越细的笔触来完善细节的阶段。 模型改进需要越来越精细的数据。 LLM 在处理简单、常见的任务时可以快速提升，但在处理更专业、敏感的领域（如科学、数学）时，性能提升的难度越来越大，因为需要更精细、专业的数据来训练模型。 推理能力将成为 LLM 未来发展的新突破口。 推理能力可以让 LLM 不仅简单地记忆输入输出对，还可以像人类一样进行多步骤的思考和推理，解决更复杂的问题，例如多项式求解。
合成数据可以帮助模型在某些领域（如代码、数学）提升性能。 因为这些领域的答案易于验证，可以通过合成大量数据来训练模型。 但在其他需要真实世界知识的领域（如生物学、化学），数据的获取难度更大，需要依赖专家知识。 最终，模型的规模化发展将受限于人类知识的边界和专家数据的获取难度。
推理能力的出现将带来新的商业模式。 客户可以通过增加推理时间计算量来获得更智能的模型，而无需等待数月进行新的模型训练。 这意味着客户可以根据需求灵活地调整模型性能，获得更好的产品体验。 这种从资本支出（CAPEX）模式到消费模式的转变将吸引更多客户投资于解决问题，而无需承担高昂的训练成本和时间成本。 推理时间计算量的增加还将对芯片层和数据中心建设产生影响，未来需要开发更适合处理推理任务的芯片，以及建设更适合分布式计算的数据中心。
目前的 LLM 缺乏像人类一样的“内心独白”，无法进行多步骤的推理思考。 它们只能根据输入直接给出输出，而不能像人类一样在解决问题时进行思考、尝试、纠错，最终找到解决方案。 推理能力的加入将使 LLM 可以像人类一样进行多步骤的思考和推理。 这种能力将通过使用人类数据和合成数据，明确地收集人们的内心想法并进行训练来实现。
任何需要多步骤解决的问题都更适合使用推理能力来解决。 例如，多项式求解，人类在解决这类问题时，需要将其分解成多个步骤，逐步解决，最终得到答案。而目前的 LLM 只能通过记忆的方式来解决这类问题。
推理时间计算在提供智能方面的作用尚未被市场充分认识。 推理能力的加入为客户提供了一种新的选择：客户可以通过增加推理时间计算量来获得更智能的模型。
虽然开源模型提供了基础模型，但微调效果不如自主研发。 自主研发能够控制数据和训练过程，为客户提供更多定制化选项。
虽然 Transformer 模型可以处理很多问题，但在某些领域可能效率较低，例如图结构数据。 在这些领域，可能需要更专业的模型才能实现更高的效率。
市场上出现的模型价格下降并非商品化的标志，而是价格倾销的结果。 模型构建需要高度的技术能力，只有少数公司掌握核心技术。 未来市场将受到增长压力和投资回报率的影响，目前以亏损或免费提供昂贵技术的做法是不可持续的。
AGI 并非一个非黑即白的概念，而是一个持续发展的过程，我们已经在构建通用智能机器的道路上取得了很大进展。 超级智能的快速发展和自我提升并不会导致像电影“终结者”中那样的人类灭绝。 人类将利用人工智能技术创造富足，而不是依赖于一个“上帝”般的超级智能来实现。 ⭐星标华尔街见闻，好内容不错过⭐ 本文不构成个人投资建议，不代表平台观点，市场有风险，投资需谨慎，请独立判断和决策。 觉得好看，请点“在看”
