过去一年并不平凡。从去年11月至今，LLM大型语言模型持续破圈、始终盘踞热点话题之列，在LLM持续升温之际，我们迎来了感恩节周末，收到了微软全球资深副总裁张祺博士发来的祝福：
感恩节之际，借此平台，我向支持我们的用户及合作伙伴表示衷心感谢，感恩你们的支持，令微软在本地市场取得了良好的发展！
感恩专注于微软使命、持续为用户及合作伙伴提供服务的辛勤员工，你们的坚守和努力令微软持续引领全球科技的发展和进步。
感恩一路有你，祝大家节日快乐！
对广告主及合作伙伴来说，感恩节最重要的是“黑五”、“网一”等国际购物潮。根据Adobe Analytics的最新在线购物预测，感恩节本土市场假日季的在线收入，或将有望创达2218亿美元。年度机遇近在眼前，跨境出海企业如何抓住机遇、突破销售记录？
▲关于“黑五”的创意图 © Getty
对此，LLM或许能够给出答案。微软首席执行官萨提亚·纳德拉在刚刚结束的全球Ignite技术大会上曾表示，“生成式AI模型的参数范围很广，从需要 Azure 中最强大 GPU 的数万亿参数的 LLM，到数十亿参数的特定任务SLM(小语言模型)。我们都提供了最佳的前沿模型选择，用户、客户及合作伙伴可以使用这些模型构建自己的AI应用，并满足对成本、延迟和性能的特定需求。”
无疑，以LLM为代表的AI新浪潮正在为广告营销行业带来巨大变革与飞跃。本月起，“微软全球营销”将通过一系列专栏文章，为读者进行前沿技术解读。今天为大家奉上的是对LLM大型语言模型的技术原理详解及科研视角前瞻。
专栏导读
“
由大型语言模型驱动的AI系统，正加速改变着人们的工作与生活。作为全球领先的科技企业，微软始终致力于推动前沿技术创新、应用与普及，为世界赋能。我们以丰富的AI经验和资源，秉承责任、可靠、可信原则，将AI融入微软现有生态，从提供 AI工具到构建AI 平台，与合作伙伴全方位携手、拥抱技术潮流，予力客户、惠及行业、创造社会价值。
——微软全球资深副总裁：张祺
#1LLM的技术原理
▲LLM训练全景图
LLM 作为一种具有强大功能的模型，研究人员通过预训练、微调、提示工程和插件等技术手段，使其备了理解自然语言并进行推理的能力。
#2
预训练
Pre-training
谈到LLM的预训练，我们指的是一种训练方法。预训练时，LLM学习大规模数据，从中提取出尽可能多的共性特征，从而减轻模型对特定任务的学习负担。预训练模型的发展经历了从BERT双向变换器模型，到GPT 自回归变换器模型的转变。其中的典型代表即 OpenAI 的 GPT 系列。今年11月，OpenAI正式推出最新的GPT-4 Turbo。主要提升包括：上下文对话长度达到128k，采用全新模型控制技术优化输出，以及GPT-4 Turbo的知识库更新到2023年4月等。
▲关于 ChatGPT 的创意图 © Getty
此外，Meta 创建的开源模型 LLaMA，也备受外界关注。今年7月，Meta在微软的Inspire合作伙伴大会上宣布，与微软合作推出LLaMA2，并获得 Azure 和 Windows 的支持。10月，LLaMA2的延伸版本LLaMA Long 上线，上下文长度达到32k。
▲Meta 开源模型 LLaMA 创意图 © Getty
#3
微调
Fine-tuning
微调，是在已有的预训练基础上，通过少量的数据对LLM进行训练，按要求实现修改和优化，使之在特定任务上表现出更优性能。微调减少了训练新模型所需的时间和资源，同时减轻了标注数据的压力，是一种快速迁移学习的方法。
▲关于信息数据的创意图 © Getty
最新的GPT-4 Turbo又一大升级，就是允许开发人员定制化微调，例如修改模型训练过程，进行额外的特定领域预训练、运行自定义强化学习后训练过程等。
#4
提示工程
Prompt Engineering
提示工程是指设计和构造适合LLM输入的提示文本，以引导其产生特定类型的输出。通过设计合适的提示词，可以引导LLM在特定领域或任务上表现出更好的性能。LLM 在生成文本时具有一定的创造力和自由度。有人也把它称为思维链（Tree-of-Thought），类似人类解决问题的思维方式，通过试错的方式在解决空间中进行树状搜索，并在必要时进行回溯。思维链主要包括头脑风暴（brainstorming）、评估（evaluation）、扩展（expansion）和决策（decision）四个阶段构成，形成的一整套链路，使得 LLM 能够生成多个潜在的解决方案，评估并改进它们，最终给出用户最佳的解决方案。
▲关于 LLM 的创意图 © Getty
#5
扩展和插件
Plugin & Extension
研究人员还会通过添加额外模块或插件，来实现对LLM的功能扩展，增强其在特定任务上的能力。例如，Auto-GPT 和 JARVIS 是LLM功能扩展的典型代表。其中，Auto-GPT 是一种基于GPT 的自动化工具，它可以利用 GPT-4 的强大功能自动完成复杂任务。用户给定一个目标，它就会将其分解为子任务，并利用互联网和其他工具自动实现。
▲图为 Auto-GPT 的官网首页截图
JARVIS 是一个框架，它利用ChatGPT 来规划任务流程，根据 Hugging Face 的功能介绍来选择适合的模型，执行各个子任务，并根据执行结果生成反馈。JARVIS 可以实现多领域、多模态的复杂AI 任务，在语言、视觉、语音等方面都取得了令人印象深刻的结果。
#6LLM如何赋能广告
在解析了LLM的技术原理后，跨境出海企业最想了解的就是究竟如何将LLM应用到广告之中。对此，今年9月，微软全球资深副总裁张祺博士在《聚焦AI大航海时代新契机、新模式、新动能》一文中曾给出过答案——搜索引擎的商业模式，如 AdWords和竞价排名等，会随技术的进步、体验的迭代而不断推陈出新。
目前，微软广告（Microsoft Advertising）正在通过 LLM 赋能实现垂直创新，为出海企业带来崭新机遇。
以 LLM 为基础，以生成式人工智能（AIGC）技术为突破口融入了人工智能副驾 Copilot。Copilot为用户提供了全新的搜索方式，也为广告主及合作伙伴创造了接触消费者的新机会和新可能。借助生成式AI，我们创造出效果出众、体感沉浸、深度融合的广告内容，逐步将一众广受欢迎的搜索广告形式（如文字广告、购物广告、多媒体广告等）及类别（如酒店广告、旅游广告、邮轮广告、信用卡广告、汽车广告等）引入必应聊天，让用户在会话广告中精准获取商品信息，在对比广告中做出智慧决策。
▲用户可以通过Copilot在聊天中进行商品对比。比如用户想购买一辆新车，就会去对比不同制造商和型号的车辆数据。以此情境为例，对比广告会将各型号汽车的数据整理到一份统一报告中，便于用户对比各项指标。随着搜索+聊天的全新模式日渐风靡，会话广告将愈发普及、并适用于多个场景——比如定制某个城市之旅，再比如购买特定颜色和风格的家具建议等。
专为广告主设计的微软广告平台智能副驾（Microsoft Advertising Platform Copilot），贴心的聊天机器人将在线聊天指导您洞悉趋势、制定策略、完成创建，最终帮您实现广告目标。您只需描述需求，之后的工作全部交给Copilot, 它将基于流程整体协助交付：从素材提炼产品卖点，到结合微软搜索趋势，再到提交完整广告图文方案。借助微软广告平台智能副驾，只需依据品牌及营销目标，即可定制独一无二的专属方案，几分钟内实现个性化精彩广告。
#7未来展望
在LLM颠覆式技术创新大潮下，微软广告致力于为全体消费者提供更便捷、更高效的个性化创意广告体验，助力垂直创新。我们期待帮助广告主及合作伙伴洞察行业先机，通过打造本土创新产品及服务，助力消费增长、推动本地品牌走向全球，在AI的黄金时代实现业务的垂直增长！
LLM专栏作者：耿秀波
微软（亚洲）互联网工程院
首席应用科学家
关于微软广告
微软广告（Microsoft Advertising）致力于为国内广告主提供动态广告解决方案，与合作伙伴一道，共同发掘全球商机、开拓多元市场，现已覆盖187个国家和地区、35种语言，触达全球超14亿受众，并且拥有持续增长的高价值用户。
在领先的AI技术、生产力工具和创新模式驱动下，本地行业与市场都将焕发新生。微软将通过创新产品和服务，助力本土品牌走向全球，实现高速增长。
MICROSOFT ADVERTISING
专栏介绍：AI大航海时代，前沿技术无疑为行业革新、企业增长与创意变现提供了新机遇，一场创新模式的革命已如箭在弦，这正是我们策划此专栏系列文章的初衷。在此，来自微软（亚洲）互联网工程院的首席应用科学家以及高级、资深研究员们，将在系列专栏文章中分享他们对人工智能、大语言模型及其应用领域如何实现技术赋能的洞察及前瞻。更多专栏内容，敬请期待！
长按二维码关注“微软招聘”
喜欢记得分享、点赞哦~
