1. 现状与挑战
随着大模型各个领域应用中取得了显著的成果，它们已经迅速得到了市场营销人员、广告商和创业者等群体的青睐。然而，目前大部分大模型的输出相对泛化，这使得它们在需要个性化和上下文理解的应用场景中难以发挥作用。
尽管提示工程和微调可以提供一定程度的个性化，但：
提示工程的可扩展性较差；
微调则成本较高，因为它需要重新训练模型，并且通常需要与大部分封闭源的大模型紧密合作。
2. 改进与发展趋势
上下文学习，即大模型从特定的内容、行业术语和具体场景中获取信息，是个性化输出的理想选择。为了实现这一目标，大模型需要增强其记忆能力。
大模型的记忆主要包括两个部分：上下文窗口和检索。
上下文窗口，是模型在训练数据之外可以处理和使用的文本；
检索，则是指从模型的训练数据之外的数据中检索和引用相关信息和文档。
随着上下文窗口的扩展，模型将能够处理更多的文本并更好地维持上下文，包括在对话中保持连续性。这将极大地增强模型处理需要深入理解长输入任务的能力，如总结长篇文章或在扩展对话中生成连贯和上下文准确的回应。
然而，仅仅扩大上下文窗口并不能充分地提高记忆能力，因为推理的成本和时间与提示的长度呈准线性或甚至二次关系。检索有两个主要的好处：首先，它允许模型访问训练时没有的信息来源；其次，它使模型能够将语言模型集中在与任务相关的信息上。
像Pinecone这样的向量数据库已经成为高效检索相关信息的事实标准，并作为大模型的记忆层，使模型更容易在大量信息中快速准确地搜索和引用正确的数据。
3. 未来应用场景
总的来说，在企业应用场景领域，公司将能更好地利用其专有数据作为大模型的输入，而无须微调。改进大模型的记忆将导致在培训、报告、内部搜索、数据分析和商业智能以及客户支持等领域的能力得到深度定制和改进。
在消费者领域，我们可以预见到一个强大的个性化功能的崛起，这将彻底改变用户与技术的互动方式。未来的大模型将不仅仅是回应用户的查询，而是能够深入了解用户的生活、知识和需求，为他们提供更加个性化的建议和帮助。
例如，考虑一个日常场景，用户正在为即将到来的朋友聚会做准备。通过访问用户的电子邮件和日历，模型可以知道哪些朋友将参加聚会，以及他们的饮食偏好或过敏情况。基于这些信息，模型可以为用户推荐合适的食谱，甚至帮助用户在线订购所需的食材。
比如，考虑到治疗师的情境，一个理想的模型可以深入了解患者的历史、情感和需求，从而为他们提供更加精准和有针对性的治疗建议。
或者在教育领域，模型可以根据学生的学习历史和进度，为他们提供定制化的学习资源和建议，帮助他们更有效地学习。
1. 现状与挑战
大模型的核心优势在于将自然语言转化为实际行动的桥梁。虽然大模型能够深入理解并描述那些有详细文档的系统，但它们还不能直接对这些系统中的信息进行实际操作。例如，大模型可以详细描述如何预订航班，但它们本身并不能直接完成航班预订。
2. 改进与发展趋势
随着时间的推移，各大公司正在不断提高大模型使用工具的能力。
像微软、Google这样的老牌公司和像Perplexity、You.com这样的初创公司推出了搜索API。AI21Labs推出了Jurassic-X，它通过将模型与一组预定的工具（包括计算器、天气API、wikiAPI和数据库）结合起来，解决了独立大模型的许多缺陷。OpenAI测试了允许ChatGPT与Expedia、OpenTable、Wolfram、Instacart、Speak、网络浏览器和代码解释器等工具互动的插件，这一动作被比作Apple的“AppStore”时刻。更近期，OpenAI在GPT-3.5和GPT-4中引入了函数调用，允许开发者将GPT的功能链接到他们想要的任何外部工具。
3. 未来应用场景
通过将知识挖掘转变为实际行动，为大模型增加“手脚”功能，将为各种公司和用户解锁众多应用场景。
例如，对于消费者，未来的大模型不仅可以为用户提供食谱建议，还能自动为用户订购所需的食材，或者为用户推荐一个适合的早午餐地点并自动预订位置。
例如，对于企业资源计划（ERP）软件，用户可以直接用自然语言描述他们想要的更改，然后模型会自动完成这些更改，大大简化了操作流程。
但这只是开始，随着技术的进步，大模型定能更加灵活地使用各种工具。这种自动化的能力不仅将推动技术领域的进步，而且为我们打开了一个全新的领域：实时感知和处理现实世界信息的“具身AI”。这样的AI能够实时感知和理解其周围的环境，并根据收集到的数据进行策略调整。
在自动驾驶汽车中，AI需要能够实时感知路况，预测其他车辆的行为，并为车辆选择最佳的行驶路线。
在智能家居系统中，如果AI能够实时感知房间的温度、光线等环境因素，并根据用户的习惯进行调整，那么我们的生活将变得更加智能和舒适。
1. 现状与挑战
尽管许多用户觉得聊天界面直观且有趣，但我们必须认识到，人们在日常生活中听和说的频率远高于读和写，这意味着仅仅依赖文本的AI系统其实是有局限性的。
为了突破这一限制，多模态交互应运而生，它能够跨越音频、视频等多种格式，为用户提供更加丰富的互动体验。目前的主流多模态大模型已经能够处理图像、音视频信息。管正在快速进化，但这些功能仍处于初级阶段。
另外，随着模型规模的日益扩大，我们面临着所谓的“词元危机”（Token-Crisis），即现有的主要依赖文本的训练数据在数量和类型上都开始显得不足。
例如，LLaMA-65B模型就使用了1.4T词元进行训练，预计在不久的将来，全球所有的数据集将被模型训练耗尽。
2. 改进与发展趋势
随着大模型对多模态交互的深入理解，它们可以与现有的图形用户界面（如浏览器）进行互动，丰富多模态交互的方式，为用户提供更加沉浸式的体验。
多模态交互还为AI与各种工具和设备的集成提供了新的机会。不再局限于通过API与软件交互，AI将能够直接操作为人类设计的各种工具，无论是办公软件、医疗设备，还是先进的制造机械。
同时，在模型训练方面，更多元化的训练数据（包括图像、视频、声音等非文本数据）的需求量会爆炸性增长。
以图像为例，计算机视觉已经是一个成熟的研究领域，如果能将这些图像数据直接用于大模型的训练，模型的视觉理解能力将得到极大的提升。此外，无监督学习等深度学习方法也为我们提供了利用海量未标注数据的可能性。
3. 未来应用场景
总而言之，大模型的发展方向包括实现从文本到多模态的转变、实现与现实世界的实时交互，以及寻找更丰富多样的训练数据等，这将在极大程度上改变人的生活与社会生产。
想象一下，未来的AI不仅可以帮助书写文本，还可以进行音频或视频聊天，提供更加生动的学习体验，甚至合作创作音乐或电影剧本。这种多模态交互为娱乐、教育和创意产业带来了无限的可能性。
例如，有些先进的模型已经可以处理医学图像，如乳腺X光片。展望未来，随着计算机视觉技术的集成，我们可以期待AI在机器人、自动驾驶车辆等领域中与真实世界进行更加紧密的互动。
大模型的进步和发展为人们打开了无数的可能性。从初步的文本交互到多模态交互，从泛化到更加精细和个性化的输出，这标志着AI技术的一个重要转折点。
随着技术的进步，未来的AI预计将与真实世界更紧密地互动，为人们提供更加沉浸式的体验。无论是企业应用还是消费者服务，AI的全面进步都将带来前所未有的机会和挑战。我们期待这一技术的持续发展，以及它为生活和工作带来的变革。
作者简介：
苏之阳（博士），现任微软资深应用科学家，小冰前研发总监，专注于搜索排序算法和对话系统研发，曾主导了小冰智能评论和小冰框架等项目的架构设计和开发，在大语言模型的研发与应用方面具有丰富的经验。
王锦鹏（博士），致力于自然语言处理和推荐系统的研发，拥有在微软亚洲研究院等科技公司担任关键技术岗位的经验，参与了Office文档预训练、推荐大模型等多个重要项目的研发和优化工作。
姜迪（博士），拥有十余年工业界研发和管理经验，在雅虎、百度等知名互联网企业工作期间，为企业的多个关键业务研发了核心解决方案。
宋元峰（博士），曾就职于百度、腾讯等互联网公司，在人工智能产品开发领域拥有丰富的经验，研究涉及自然语言处理、数据挖掘与可视化等方向。
文章来源：IT阅读排行榜
本文摘编自《大语言模型：原理、应用与优化》，苏之阳、王锦鹏、姜迪、宋元峰 著，机械工业出版社出版，经出版方授权发布，转载请标明文章来源。
▼
延伸阅读
《大语言模型：原理、应用与优化》
苏之阳 等著
微软等大厂的4位博士撰写
为研究人员和开发者提供系统性参考
零基础理解大模型、构建大模型和使用大模型
内容简介：
这是一本从工程化角度讲解大语言模型的核心技术、构建方法与前沿应用的著作。首先从语言模型的原理和大模型的基础构件入手，详细梳理了大模型技术的发展脉络，深入探讨了大模型预训练与对齐的方法；然后阐明了大模型训练中的算法设计、数据处理和分布式训练的核心原理，展示了这一系统性工程的复杂性与实现路径。
除了基座模型的训练方案，本书还涵盖了大模型在各领域的落地应用方法，包括低参数量微调、知识融合、工具使用和自主智能体等，展示了大模型在提高生产力和创造性任务中的卓越性能和创新潜力。此外，书中进一步介绍了大模型优化的高级话题和前沿技术，如模型小型化、推理能力和多模态大模型等。最后，本书讨论了大模型的局限性与安全性问题，展望了未来的发展方向，为读者提供了全面的理解与前瞻性的视角。
