首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

推理成本直降99%！百川智能「1+3」矩阵揭秘，两张4090玩转旗舰新模型

科技 2024-11-01 13:25 北京

新智元报道

编辑：编辑部 HYZ

【新智元导读】大模型热，企业落地难？就在刚刚，百川智能推出「1+3」产品矩阵，一站式解决大模型商业化难题。「系列优质通用数据+领域增强训练工具链」，仅需10分钟就能让企业自主成为模型定制增强专家，实现行业最佳的多场景可用率。

大模型热两年后，将大模型融入业务场景、组织流程，提高产品和服务质量，已经成为越来越多企业的共识。

不仅如此，员工们也希望能用AI提升工作效率，甚至打破职业发展的天花板。

然而，许多企业在落地的具体过程中，却面临着众多痛点，困难重重。

AI正以意想不到的规模融入工作场所：帮助节省时间（90%），专注于最重要的工作（85%），变得更有创造力（84%），并且更享受工作（83%）

AI商业落地困难重重，何解？

首先，成本就是一大难关。

现实问题是，该给大模型买多少算力？投多少人做数据治理、训练模型？需要多少人做运维？

第二，数据隐私与安全，也是让不少企业望而却步的重要原因。

B端企业往往对数据隐私要求较高，但大模型通常是由第三方提供，这个过程中就存在数据泄露的风险。

比如，一家医疗公司计划将大模型用于患者诊断，但担心数据传输到第三方模型提供商的服务器，会泄露患者隐私。虽然可以进行数据脱敏，但脱敏后的数据精度降低，也会降低模型效果。

第三，模型的集成与部署复杂，需要专业技术团队的支持。

B端用户的技术栈各不相同，现有的大模型可能需要大量调整，才能与企业现有系统集成。

比如某零售公司想要将大模型嵌入到内部CRM系统中，但由于API接口与现有系统不兼容，他们就需要开发大量中间接口，在内部数据安全防护上花费额外资源。结果就是项目推进极慢，还需要大量技术支持。

还有一种情况是，通用模型虽然有全领域能力，但是很多具有独特专业知识的行业和场景却无法直接应用。

比如在大模型落地工业场景上，施耐德电器数字化就提出了这样的「两难问题」——制造业企业的数据、知识、经验无法分享，导致数据流动差，难以出现垂直行业大模型；单个企业出面做私有化垂直的微调大模型，则会成本过高、维护难度过大。

此时，就需要结合客户领域和场景对通用大模型进行定向调优和增强。

然而，这个过程更是存在诸多痛点：缺少全链路增强的训练工具和框架；缺少与原模型匹配的通用训练预料；缺少模型训练的超参数、数据标注、数据清洗、配比等训练经验……

显然，今天的AI仍处于钻木取火的阶段，谁能攻破以上难题，让企业可靠、经济、易用地使用大模型，谁就能率先拿下一城。

这时，我们需要的是一套完整的工业级解决方案。

而就在昨天，百川智能正式面向企业用户，发布了「1+3」一站式大模型商业化解决方案，包括全链路优质通用训练数据、Baichuan4-Turbo、Baichuan4-Air两款模型，以及全链路领域增强工具链。

「1+3」的组合，覆盖了从数据构建、模型训练到强化调优、部署运营的全流程。

通过这个产品矩阵，企业既能保障自身数据和隐私安全，还能以较低成本高效实现效果最佳的大模型私有化部署，用大模型赋能多种业务场景。

一言以蔽之，工具多、部署快、效果好、成本低。

搭配自用通用优质训练数据，多场景可用率高达96%

当前，AI社区已经有很多高质量的LLM可以免费获取，诸如Llama、Gemma等等。

它们具备了强大的通用泛化能力，然而，由于每个企业都拥有自身独特的专业知识和应用场景，直接应用通用模型难以达到理想效果，因此必须对模型进行定制化优化从而适应特定领域和场景的需求。而优化后模型在多场景下的可用率是评估其价值的关键标准。

目前，行业主流的定制化优化方式有两种：用场景数据微调；场景数据混合开源通用数据微调。

数据显示，仅用专业数据微调模型，多场景可用率是84%。

若是利用行业公开的通用数据，或者自建通用数据集，外加专有数据进行领域增强训练，可用率会有所提升，但也只能提升2%。

以上这些还不是最优解，因为对于很多企业来说，多场景可用率低于90%基本上就是不可用的状态。

导致这种情况的主要原因是，受限于诸多因素，企业在混合微调时只能自建或者使用开源的通用数据，很难获得与原模型高度匹配的通用训练数据，因此即便经过调优，模型也有很大概率会失去通用性，变成无法应对多个场景的专用模型。

这次，百川智能直接给出了其自用的预训练通用数据、SFT微调通用数据以及强化学习过程中的通用数据。

同时，自研的超参自动化搜索和调优技术、数据动态自适应配比技术等训练经验和技术，也都一并封装成工具，给到企业使用。

用白话说就是，Baichuan4-Turbo、Baichuan4-Air用到的高质量通用训练数据和训练技巧，都在里面！

评测结果显示，在使用百川智能优质通用训练数据与企业专有数据混合微调后，模型在金融、教育、医疗等场景下的专业细分任务的平均可用率高达96%。

相比不混合通用数据提升12%，混合开源通用数据提升10%。

相较于其他行业解决方案，百川智能取得了最新的SOTA，这也从侧面证明了模型想要在企业场景下取得优秀表现，需要的是专有数据与和原模型高度匹配的通用数据的「混合增强」。

模型升级：Baichuan4-Turbo两张4090即可部署，Baichuan4-Air推理成本下降99%

接下来，如何将Baichuan4-Turbo、Baichuan4-Air应用在实际场景中？

从名字中不难看出，它们都是Baichuan 4系列基础模型的升级。

对于企业来说，在不同场景阶段，对模型性能和成本要求各不相同。

在复杂场景探索阶段，他们更加关注模型性能、部署成本。

而在已验证过的大规模落地阶段，他们更侧重模型推理成本、响应速度。

这次新发布的两款模型，分别应对不同阶段的客户落地场景，效果更好，成本更低。

复杂场景探索：Baichuan4-Turbo

其中，Baichuan4-Turbo属于旗舰模型升级版。

它适合复杂场景的初期探索阶段，尤其适用于对于初始部署成本（比如显存）较为敏感的场景。

对于B端企业用户，大模型时常会遇到极为复杂的场景，这时就对模型能力提出了很高的要求。

比如在一个金融机构中，需要实时分析海量交易和市场数据，还要检测异常交易、反欺诈，预测信用风险等等。

此时就需要大模型能够整合动态数据与多模态处理、具有强大的模型识别与实时预测能力。

这样它才能快速集成结构化（交易记录）和非结构化数据（文本），并进行跨模态的信息分析。并且，它还能对数据中的微小变化做出快速响应，识别风险信号。

针对以上场景，Baichuan4-Turbo就是一个极具性价比的选择。

相比Baichuan 4，Baichuan4-Turbo在B端客户高频应用场景上，效果均有显著提升。具体来说，分聚类提升了9.09%、多语言提升了31.43%、信息摘要提升了50%、生成提升了12.77%。

而在成本上，通过w4kv4等infra量化，Baichuan4-Turbo仅需2张4090，即可达到GPT-4o效果。

可以说达到了旗舰模型的行业最低，仅为Baichuan 4的15%。

在响应速度上也更快，其中首token速度提升了51%、token流速提升了73%。

广泛应用：首个MoE模型Baichuan4-Air

Baichuan4-Air则是Baichuan 4系列中的低成本极速版，同时也是百川智能发布的首款MoE模型。

它适合中等复杂及简单场景的广泛应用阶段，尤其是请求量大、推理成本敏感型的场景。

比如电商搜索和推荐、智能客服与对话机器人，都属于这一类。

电商平台的用户访问量大，产品浏览和搜索请求频繁发生，此时模型无需深层理解用户的全部行为，只需提供较高相关性的推荐即可。

而在智能客服场景，银行、零售、物流等企业的在线客服系统往往有高并发的用户咨询，用户问题相对简单、重复性高，不涉及复杂情感理解和多轮对话。

此时，相比复杂大模型，轻量化的模型就能实时响应海量请求，在不牺牲速度的情况下回答大量简单的用户咨询，企业也不必承受复杂模型带来的高计算成本。

Baichuan4-Air，正是为这类用户量身打造。

它的效果和Baichuan 4基本持平，但价格只有后者的1%——0.98厘/千tokens，目前行业最低。

同时，它的响应也更快，首token速度提升了77%、token流速提升了93%。

值得一提的是，作为百川智能的首个MoE模型，Baichuan4-Air 行业首创了PRI架构，巧妙融合了Pyramid（金字塔架构）、Residual（残差结构）、Interval（区间结构）三种配置方式。

与标准的MoE架构相比，Baichuan4-Air的MoE架构保持了MLP（多层感知机）和Attention（注意力机制）的内部结构不变，仅对混合专家MLP层的配置方式进行优化，通过合理配置专家数量和激活策略，能够更好地平衡计算负载，减少计算量，提高推理速度。

正是由于这种MoE架构上的创新，Baichuan4-Air在时效率和模型性能上均表现优异。

在相同训练数据下，Baichuan4-Air不仅时效率更高，性能也大幅领先于GPT4-style、Mixtral-style结构的MoE模型。

至此，所谓停止预训练模型的谣言，也就不攻自破了。

全链路领域增强工具链，覆盖模型部署全流程

作为「1+3」产品矩阵中的「1」，从数据处理、增量预训练、模型微调、强化学习、提示词优化，到评测、量化、部署，「全链路领域增强工具链」全面覆盖了私有化部署的所有关键环节。

模型训练经验+高效训练框架

值得一提的是，百川团队基于数万亿token的训练实战经验，全部开放。

这其中，微调数据自动化增强、标注工具、数据配比搜索策略等，全部被封装到全生命周期工具包中，企业直接可用。

在整套工具链中，还包含了百川开放的高效训练框架。

相较于开源方案，基于百川成熟的训练框架，能在相同收敛结果下，将训练速度提升数倍。

与此同时，它还支持RAG、Agent能力定制化，以及超长窗口训练等高级功能。

这些能力，能够帮助企业在更短时间内，完成复杂模型训练任务。

得到微调模型后，在部署前还需进行全面的模型评测。

「全链路领域增强工具链」中提供了一站式模型评测方案，不仅包含了行业标准的基准测试，还包含了全面自动评测功能。

一方面，能够帮企业了解模型相对表现；另一方面，还能为其模型优化提供精确指导。

不仅如此，通过大量的适配工作，百川智能还实现了多平台适配的私有化部署方案，和英伟达、华为、寒武纪、高通、MTK、天数等主流芯片都能适配。

多、快、好、省，深受合作伙伴好评

那些拿到内测资格的客户，纷纷对百川智能两款新模型、全链路领域增强工具链，给出了好评。

新致软件称，百川的工具包为LLM开发带来了革命性的提升。

这套工具不仅能够有效处理私有数据资产，还可以与百川优质通用数据融合训练，从而显著提升了最终模型的表现效果。

另一个案例来自信雅达。

他们的实践表明，Baichuan4-Turbo在硬件需求方面实现了重大突破——仅需2张4090显卡即可流畅运行，大幅降低了基础设施投入成本。

更令人瞩目的是，自部署该模型以来，他们在业务层面取得了显著成效：客户满意度提升15%，运营效率更是实现了近30%的增长。

以上，这些数据充分证明了百川智能的一站式解决方案，在实际应用场景中的卓越表现。

截至目前，百川智能已经服务了数千家客户，不仅有北电数智、完美世界游戏等行业领军企业，还与多家行业生态伙伴，以及运营商达成合作，携手构建百川大模型生态。

随着生态朋友圈不断壮大，百川的实践证明，LLM的落地不是遥不可及的未来，而是触手可及的现实。

最终实现，让更多企业以更低门槛、更高效率拥抱AI时代，推动各行各业的升级。

点击「阅读原文」即可访问官网，查看更多信息。

参考资料：

https://platform.baichuan-ai.com/homePage

http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652535633&idx=1&sn=d464099cfc5f986561f74a61be7be87f

智能+中国主平台，致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展，关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响，领航中国新智能时代。

最新文章

周鸿祎黑客短剧震撼首秀，直接带火纳米搜索！搜学写创，开启AI搜索3.0时代

数字孪生心脏全球首次实现0.84秒超实时模拟！智源突破计算极限，180倍性能提升

代码模型自我进化超越GPT-4o蒸馏！UIUC伯克利等提出自对齐方法 | NIPS 2024

当AI创造AI，就是库兹韦尔「奇点」临近时？人类正处于自我改进AI爆炸边缘

招人！新智元邀你勇闯ASI之巅

十年再登巅峰！刚刚，Ilya和GAN之父斩获NeurIPS 2024时间检验奖

AI卷翻科研！DeepMind 36页报告：全球实验室被「AI科学家」指数级接管

AI造芯Nature论文遭围攻，谷歌发文硬刚学术抹黑！Jeff Dean怒怼：你们连模型都没训

不是RNN的锅！清华团队深入分析长上下文建模中的状态崩溃，Mamba作者点赞

一文看尽Meta开源大礼包！全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等

招人！新智元邀你勇闯ASI之巅

Sora半夜泄露3小时，物理效果惊人！奥特曼急拔网线，艺术家抗议被白嫖

逃回大厂！谷歌天才科学家Yi Tay——639天创业血泪史

打破LLM数据孤岛！Anthropic革命性MCP让大模型解锁全网数据，AGI要来了？

AI视频两巨头开战！Runway秒生现实大片，Luma动嘴创作电影

「学术版ChatGPT」登场！Ai2打造科研效率神器OpenScholar，让LLM帮你搞定文献综述

揭示Transformer「周期建模」缺陷！北大提出新型神经网络FAN，填补周期性特征建模能力缺陷

UC伯克利：给大模型测MBTI，Llama更敢说但GPT-4像理工男

招人！新智元邀你勇闯ASI之巅

GAN之父新冠后惊传罹患双重顽疾！听力减退心动过速，全网求医

OpenAI怒斥Scaling撞墙论！o1已产生推理直觉潜力巨大

指令跟随大比拼！Meta发布多轮多语言基准Multi-IF：覆盖8种语言，超4500种任务

世界模型挑战赛，单项奖金10000美元！英伟达全新分词器助力下一帧预测

招人！新智元邀你勇闯ASI之巅

Claude 3.5两小时暴虐50多名专家，编程10倍速飙升！但8小时曝出惊人短板

新晋AI编程神器干翻Cursor！首创实时感知无限用，估值12.5亿华人初创震惊AI界

扩散模型=进化算法！生物学大佬用数学揭示本质

招人！新智元邀你勇闯ASI之巅

美国教授痛心：UC伯克利GPA 4.0计算机本科生，毕业即失业？ML博士直呼太卷后悔转行

英特尔错失AI芯片浪潮，从放弃收购英伟达开始

一只暹罗猫竟是论文作者！谷歌学术20岁，创始人首次公开最魔幻学术故事

招人！新智元邀你勇闯ASI之巅

续命Scaling Law？世界模型GPT-4o让智能体超级规划，OSU华人一作

5年浴火，800余岁巴黎圣母院重生！马斯克激动转发，AI数字建模创奇迹

首个可保留情感的音频LLM！Meta重磅开源7B-Spirit LM，一网打尽「音频+文本」多模态任务

机器人训练数据不缺了！英伟达团队推出DexMG：数据增强200倍

招人！新智元邀你勇闯ASI之巅

全面进攻谷歌！OpenAI被曝打造浏览器，已挖Chrome创始大牛

预定下一个诺奖级AI？谷歌量子纠错AlphaQubit登Nature，10万次模拟实验创新里程碑

宝可梦GO「偷家」李飞飞空间智能？全球最强3D地图诞生，150万亿参数解锁现实边界

OpenAI薪酬大曝光！奥特曼身价145亿，年薪只有55万

世界最大AI Agent生态系统！微软推出全新「自主AI智能体」，10万企业工作流被改变

RAG没有银弹！四级难度，最新综述覆盖数据集、解决方案，教你「LLM+外部数据」的正确使用姿势

招人！新智元邀你勇闯ASI之巅

OpenAI看好的方向，文心智能体技术抢先爆发！

「全球最严榜单」，阶跃拿下中国TOP 1！杀入世界前五，超过GPT-4o紧跟o1-mini

收敛速度最高8倍，准确率提升超30%！华科发布MoE Jetpack框架 | NeurIPS 2024

405B大模型也能线性化！斯坦福MIT最新研究，0.2%训练量让线性注意力提分20+

招人！新智元邀你勇闯ASI之巅

美国AI曼哈顿计划793页文件曝光！全力研发AGI，十大战略直指中国

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉