百度智能云千帆，产业创新新引擎

文摘 2024-03-21 19:39 北京

本文整理自 3 月 21 日百度副总裁谢广军的主题演讲《百度智能云千帆，产业创新新引擎》。

各位领导、来宾、媒体朋友们，大家上午好。很高兴今天在石景山首钢园，和大家一起沟通和探讨大模型的发展趋势，以及百度最近一段时间的思考和实践。

自去年 3 月 27 日发布千帆大模型平台到今天，刚好过去了一年的时间。过去这一年，国内外的大模型都在迅速发展，相关应用的爆发趋势也更加明显。

从发展趋势来看，有如下几个特点：

第一，大模型的技术在不断进步。通过模型架构改进、训练算法调优等方式，大模型的效率和性能都得到了显著提升；
第二，行业应用场景的成熟。大模型在各种行业已经开始落地，这些实践经验激发了行业更多的兴趣和投入；
第三，政府、投资机构对人工智能技术的支持不断增加。这也为大模型的研发、部署和应用提供了更多资源和机会；
第四，社会对人工智能技术的理解和接受度不断提高。用户对于智能化、个性化服务的需求，也推动了大模型在各种场景中的应用。

但在过去一年与企业的实际接触过程中，我们发现企业落地大模型时，也面临着在落地场景的探索、应用开发的门槛、推理和训练的成本和落地应用的效果等四个方面的挑战。

为了解决这些挑战，帮助企业用户落地，千帆提供了包括算力、模型开发、应用开发在内的一整套的大模型开发工具，为企业打造了大模型服务的超级工厂，帮助企业降低成本、提高效率与模型应用的效果。

千帆平台自发布以来一直保持着高速增长的趋势，相比于去年 12 月，千帆的日均季度环比增长了 97%，翻了接近一倍。

同时，我们也很高兴地跟大家宣布，千帆平台服务客户数已经突破了 8 万，最近一个月就增长了近 1 万。

同时，平台已经精调出 1.3w 个模型，开发应用数也达到了 16w。基于这些数据大家也可以看到，大模型已经真正进入到了快速增长的阶段。

未来，千帆也将帮助企业客户、开发者看到更多「创新机会」。随着千帆客户数量不断增多，我们也感受到，大家目前更关心的是怎么把大模型「用起来」，真正给企业业务带来价值。

今天，我为大家带来全新升级的 AI 原生应用开发平台 AppBuilder，以最好的应用效果、最优的开发体验支撑 AI 原生应用的繁荣。

千帆 AppBuilder，是一个产业级的 AI 原生应用开发平台。它可以帮助广大的客户和开发者不断降低应用开发门槛。

AppBuilder 底层由基础组件和高级组件构成。在基础组件中，包含大模型组件、AI 能力组件等。这些组件都是基于百度多年的技术和实践经验沉淀的。

除了基础组件，AppBuilder 还面向典型的应用场景，深入调优建设了一系列高级组件，比如知识问答类的 RAG、具备运算能力的代码解释器，以及生成式数据分析 GBI 等。

基础组件和高级组件共同支撑 Agent。一方面可以通过工作流编排实现更为复杂的业务逻辑，另一方面 Agent 也具备强大的自主任务规划能力。所有这些底层能力，通过代码态和零代码态两种形态提供服务。同时，多渠道对外集成分发。

千帆 AppBuilder 具备三大核心优势特点：

第一，应用效果领先，具备高精度知识问答效果及精准的自主任务规划能力；
第二，组件多元化且支持自定义接入；
第三，产品开放易用。

接下来我来为大家详细介绍。

讲应用效果就离不开场景。知识问答(也就是 RAG )是大模型最典型的应用场景之一。AppBuilder 在这个场景建设了企业级全链路检索增强的应用框架及周边工具，并做了很多深入细致的优化工作，包括底层基座模型的 SFT 调优、文档解析、语义匹配、问题拆解等环节的策略优化，使得知识问答的效果达到更好的水平。

通过这些优化，AppBuilder 的 RAG 在多场景问答准确率、友好回复、准确拒答等方面可接受度达 95% 以上。大家可以看到下图中的对比数据， AppBuilder 在效果上超越了其他同类产品。

另一个非常典型的应用场景是 Agent。AppBuilder 构建了具备精准自主任务规划能力的 Agent 框架，可实现多工具自动编排，准确率达到 90% 以上。官方提供了近 30 种编排工具，覆盖电商/互娱/办公/专业服务等主流场景。

同时，AppBuilder 支持开发者接入自定义工具，通过自动编排与手动编排的结合，实现复杂场景需求的定制。此外，代码解释器的效率与效果持续提升，相比升级前性能提升 40%、数据分析场景可接受度提升到 95%。

下面，我们来看一个视频，这个视频核心呈现的就是 Agent 的精准自主任务规划能力。我们可以看到，面对不同的任务，Agent 可以通过自主调度不同的工具组件来精准回答用户的各类问题。

AppBuilder 具备丰富的组件工具，目前已扩充到 55 个。这些组件包括基于百度技术积累和自有业务沉淀的大模型能力组件，如多轮改写、复杂 Query 分解等；也包括 AI 能力组件，比如 TTS、OCR、图像识别等。通过大小模型联合及业务场景化工具组件，共同支撑 AI 原生应用的开发。

此外，AppBuilder 还提供了百度独家开放的业务组件，如在搜索领域有深厚积累的百度搜索，以及一些业界主流场景的第三方 API，比如航班查询、论文查询等。

同时，AppBuilder 支持用户接入自定义组件。我们还提供百度基础云的一些组件，比如 BES 等，这里特别提下专用向量数据库 VDB，它也迎来了一次全新的升级。

向量数据库是企业不可或缺的知识库核心组件，它针对传统知识库问答系统所遇到的性能瓶颈、维护挑战及规模限制等问题提供了有力解决方案。

VDB 1.0 这一革命性的数据库内核，不仅集成了全面的运维控制和安全防护能力，还兼容了千帆、LangChain 等主流生态系统，使企业能够轻松管理数以千万计的文档知识。

在性能表现上，VDB 与同类型开源产品相比，其在不同应用场景下的性能有不同程度的提升，最高可达 10 倍，真正实现了毫秒级的向量检索速度。

同时，在扩展性方面，支持最大百亿级别的向量数据存储，以及秒级的弹性伸缩响应。这些突出优势确保了 VDB 能够伴随企业业务的不断发展而升级，持续满足日益增长的业务需求。

再回到 AppBuilder。它的第三大优势是开放易用。

首先是主流场景的工具组件开放可灵活编排，提供丰富的应用示例，用户一次鉴权全部接入。
其次，提供开源的 RAG 和 Agent SDK ，支持二次开发。本次升级后，最快只需要三步即可完成应用的创建于开发，还可一键对接百度灵境矩阵、微信公众号、微信客服、Web 端/ H5 等渠道。

这里也特别说一下百度灵境矩阵，此次与灵境矩阵的打通，应用将有机会在百度强大的搜索场景中轻松实现分发和挂载，同时也能融入百度的信息流场景，吸引更多潜在用户的目光。

下面，我们就来看一个从 0 到 1 快速搭建应用的示例。

现在很多家长辅导孩子写英语作业就很痛苦，那么我们现在用 Appbuilder 这样一个平台，就可以创建一个「英语作文批改小助手」来辅助家长。

大家看到，像上面这样一个应用的搭建，不到一分钟即可完成。

目前，已经有上万开发者和伙伴，通过 Appbuilder 创建出各种场景的 AI 原生应用。

刚刚我分享的是如何帮助企业快速去搭建应用。除了降低企业的应用开发门槛，企业还会有另外一个需求，就是开发出的应用效果怎么能够做好。这背后是通过我们的各种基座模型的能力去实现的。

今天，在千帆大模型平台上的模型迎来了关键升级和全新模型发布，首先让我们来一起看下文心大模型 3.5 和 4.0 的重磅升级。

首先，我来为大家介绍文心大模型 ERNIE 3.5 的重磅升级。

升级后的 ERNIE 3.5，在指令遵循、上下文学习和逻辑推理能力都有显著的效果提升，同时我们可以看到企业核心的文案创作、信息抽取、工具调用场景都有不同程度的效果优化。

除了普遍应用的 ERNIE 3.5，另一个受到行业广泛关注的是大模型 ERNIE 4.0。它在理解、生成、逻辑、记忆能力等方面均达到业界顶尖水平。

经权威机构测评，ERNIE 4.0 在专项学科能力、安全与责任、以及综合得分均排名第一。作为目前行业领先、以及中文领域最强模型，ERNIE 4.0 已经成为企业在复杂场景应用的最佳选择。

以上就是我们文心大模型 3.5 和 4.0 的升级内容。

随着接触客户及场景越来越多，我们发现一个趋势：很多的公司在使用大模型的时候，成本是他们考虑的关键因素。我们总结了一下这类需求，归纳为【效价比】

结合百度持续的技术升级及领域深耕，我们发现，在特定场景下，参数较小的大模型经过精调可以达到甚至超越大模型的效果，而且能为企业大幅降低成本及响应速度。

今天，我们将为大家带来三款轻量级大模型的发布，便于企业通过推理、精调的方式去实现最优效价比。

首先是全新发布 ERNIE Speed，这是一个最适合微调的基座模型，同时上下文最高支持 128K。

大家可以看到右边的这组数据对比：以小说角色扮演和英语口语练习的场景为例，可以明显看到微调后的 ERNIE Speed 效果超越了大参数量级模型 ERNIE 4.0。

如果企业还要追求更快、更轻、成本更低，第二款产品 ERNIE Lite 将是企业的首选，同时 Lite 也是一款非常适合低算力、AI 加速卡推理使用的轻量级大模型。

ERNIE Lite 是 ERNIE-Bot-turbo 模型的升级版。我们可以看到新版的 Lite，相较于 Turbo 在情感分析、多任务学习、自然推理等场景下效果提升了 20% 左右。

除了效果上的提升，企业在该模型上的推理调用成本，对比升级前降低了 53%。

最后一款模式可以说是极致低成本、低延迟的最佳模型：ERNIE Tiny。

Tiny 是目前文心系列中部署与精调成本最低的模型，非常适用于检索、推荐、意图识别等高并发、低延时的场景。

举个例子，在搜索推荐场景下，精调后的 Tiny 在推荐词激发环节，相较于之前使用 ERNIE 3.5 模型，对话轮次增长了 3.5%，成本下降了 32%。

除了文心大模型升级以及轻量级大模型的发布外，我们此次还基于垂直场景，推出了两个产业级最佳实践模型：ERNIE Character 和 ERNIE Functions。

ERNIE-Character 是专为角色扮演类场景研发的一款大模型，非常适合游戏 NPC、客服对话等业务应用。

举一个实际的应用案例，目前我们的某个智能硬件厂商客户，通过 Character 模型打造智能助理，在人设一致性，以及激发用户聊天欲望等方面，给业务带来了显著提升。

另外，ERNIE Functions 作为一款工具调用场景大模型，优点是结构化回答及合成能力强，并且输出格式稳定。我们某个旅游出行客户，通过 ERNIE Functions 打造了智能客服助手，在执行订票、查询航班状态等多种场景下，调用的准确率达到了 92% 以上。

今天，我已经发布完 5 款全新的模型，那么在企业具体应用中，这些模型是如何为企业带来最优效价比的？我来通过一个模型路由的案例，为大家具体说明一下。

模型路由，来源于现在比较流行的 MoE。它的核心理念就是通过轻量级大模型降本增效。

大家可以看到左边，在用户输入问题之后，就接入到 router 模型中。router 模型负责判别用户的意图，在把用户的意图分发到不同的大模型中。

以前整个场景都在用大参数模型。现在，我们就可能基于这种意图判别把很多的垂类场景请求分发到更小尺寸的模型中。在企业的实际应用过程当中，模型路由是一个非常划算的方式。

以手机智能助手为例，通过该模式，用户推理成本可以降低 15%，同时效果和 ERNIE 3.5 持平。未来我们也会把这套方案做成产品，让用户通过精调的方式自主选择分流的方案。

最后，我们再用一张图，来回顾和梳理下百度智能云千帆大模型平台的模型矩阵。

文心大模型 3.5 和 4.0 适合通用复杂场景。轻量级大模型中，ERNIE Speed 和 ERNIE Lite 适用于垂直场景的定制训练。ERNIE Tiny 更快、更实惠，可用于特定场景的自然语言到指令调用，也适用边缘设备推理场景。

垂直场景模型 ERNIE Character 适合角色扮演，ERNIE Functions 适合对话或问答场景中的外部工具使用和业务函数调用。

模型效果能力越强的模型，成本也会更高。轻量级的大模型在特定场景，经过精调也会达到大参数模型的效果。企业可以在实际应用中，根据业务的需求来灵活选择不同的模型或者模型组合。

以上就是我今天发布的全部内容。

助力产业创新，千帆竞航未来希望千帆能够助力企业和开发者在大模型的浪潮里，竞发向前，共赢未来。感谢大家!

- - - - - - - - - - END - - - - - - - - - -

点击阅读原文

了解百度智能云千帆 AppBuilder 更多信息

传送门

http://mp.weixin.qq.com/s?__biz=MzkxOTM4MTM3Ng==&mid=2247487763&idx=1&sn=a79d06ba0bdf621cd8701e78401910f5

百度智能云技术站

您关心的云技术话题，就是我们想要分享的内容。欢迎大家后台留言，告诉我们您想了解的主题。

最新文章

AI 原生时代，更要上云：百度智能云云原生创新实践

百度智能云千帆 AppBuilder 大模型应用开发解读

计算不停歇，百度沧海数据湖存储加速方案 2.0 设计和实践

百度智能云千帆 ModelBuilder 大模型服务及开发解读

大模型时代，云原生数据底座的创新和实践

百度智能云新一代云原生产品加速 AI 原生应用落地

百度智能云千帆大模型平台技术革新与产业实践

智算基石全栈加速，百度百舸 4.0 的技术探索和创新

数据仓库 Palo 2.0 for Apache Doris 冷热分离原理分析

百度网盘企业版数据快速上云，数据流转平台 CloudFlow 加速大模型训练迭代

HelixFold 3 全球首个完整复现 AlphaFold 3，百度智能云 CHPC 为人类生命探索提供算力平台支撑

百度智能云向量数据库创新和应用实践分享

大模型时代数据底座，百度智能云数据库 DTCC 2024 精彩汇总

90 分钟带你玩转知识库应用

云高性能计算平台 CHPC 让企业的传统 HPC 玩出新花样

如何定量分析 Llama 3，大模型系统工程师视角的 Transformer 架构

无需业务改造，一套数据库满足 OLTP 和 OLAP，GaiaDB 发布并行查询能力

百度智能云将大模型引入网络故障定位的智能运维实践

彻底解决网络哈希冲突，百度百舸的高性能网络 HPN 落地实践

基于 Native 技术加速 Spark 计算引擎

大模型时代数据库技术创新

通过搭建 24 点小游戏应用实战，带你了解 AppBuilder 的技术原理

低代码组件扩展方案在复杂业务场景下的设计与实践

不是GPU买不起，而是多芯混合更有性价比

如何从 0 到 1 研发一款专用向量数据库产品？

长江云 IPTV 融合业务 0 改造平滑迁移上云，《面向 AIGC 的数智广电新质生产力构建白皮书》开放下载

百度百舸 AIAK-LLM 的大模型训练和推理加速实践

大模型驱动的新一代 BI 平台，Sugar BI 开启智慧决策新模式

一次性讲明白，如何搞定一个可以支持多芯混合训练的 AI 集群

多元 CPU 性能调优的技术挑战、产品设计和业务实践

云原生数据库下一站：像 MySQL 一样流行，让更多人受益于新技术的发展

不再等待直接上答案，百度智能云推出数据库 Copilot

百度智能云千帆，产业创新新引擎

百度智能云发布专用向量数据库 VDB 1.0，全新设计内核开启性能狂飙

百度智能云加速「低代码+大模型」融合，爱速搭位居 2023 年 IDC 低代码/无代码领导者象限

专为大模型训练优化，百度集合通信库 BCCL 万卡集群快速定位故障

2023 H1 中国边缘公有云服务市场 Top2，百度智能云加速推动分布式云智能化升级

数据库运维工作量直接减少 50%，基于大模型构建智能问答系统的技术分享

云上业务一键性能调优，应用程序性能诊断工具 Btune 上线

如何实现一个百万亿规模的时序数据库，百度智能云 BTS 架构解析和实践分享

百度 Comate 提升编码效率，释放 10 倍软件生产力

百度智能云千帆 AppBuilder 构建 AI 原生应用开发新范式

智算让大模型触手可及

AI 原生时代的云计算

大模型重构云计算

一站式数据库上云迁移、同步与集成平台 DTS 的设计实践

分布式数据库 GaiaDB-X 金融应用实践

高性能和多级高可用，云原生数据库 GaiaDB 架构设计解析

从互联网到云计算再到 AI 原生，百度智能云数据库的演进

从 MLOps 到 LMOps 的关键技术嬗变

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉