终端如何才能更智能？华为云盘古大模型给出解决之道

在科技日新月异的今天，大模型如同一位无所不能的魔法师，用其神秘的力量点亮了智能终端的新未来。

你只需轻声呼唤，手机就能精准执行你的指令，无论是文本创作还是图片编辑，均能得心应手；自动驾驶汽车也能在虚拟世界道路中不断磨砺技艺，让驾驶变得更加安全智能；机器人能轻松完成复杂的任务规划，将人们的生活打理得井井有条……

随着大模型能力的提升，手机、汽车、机器人等智能终端正迎来爆发。以AI手机为例，据Canalys预计，2024年AI手机出货量将占全球智能手机出货量的16%，到2028年，AI手机市场份额将激增至54%，年均复合增长率（CAGR）将达到63%。

我们不禁要问，怎样的大模型才能让终端更智能？端云协同如何更高效？在华为开发者大会2024（HDC 2024）期间，华为云盘古大模型5.0发布，在全系列、多模态、强思维三个方面全新升级。我们也能看到华为云盘古大模型如何让终端越来越“聪明”的具体案例。其中，会上亮相的搭载盘古能力的人形机器，让我们看见科幻片中的机器人真的来了！

接下来，让我们一同揭开华为云盘古大模型5.0的神秘面纱，探寻其如何引领终端智能化。

01

  发布盘古大模型5.0，

加速终端智能化进程

对此次重磅发布的盘古大模型5.0，笔者认为，最大的变化是多模态能力全面升级。此时，可能有人要问，多模态能力提升有何独特价值？

要知道，物理世界是一个包含多种模态的复杂系统。多种模态间的相互联系、相互作用，共同构成了丰富多彩的物理世界。因此，大模型只有具备更强的多模态能力，才能生成符合物理规律的内容，也能看懂图表、图片等不同信息，更懂物理世界。

华为云盘古大模型5.0能够更好更精准地理解物理世界，包括文本、图片、视频、雷达、红外、遥感等更多模态；在图片和视频识别方面，可支持10K超高分辨率；在内容生成方面，采用业界首创的STCG（Spatio Temporal Controllable Generation，可控时空生成）技术，聚焦自动驾驶、工业制造、建筑等多个行业场景，生成更加符合物理规律的多模态内容。

基于多模态能力的提升，华为云盘古大模型可在众多的卫星遥感图片中，找到细微的地表变化，让细微的变化也能轻松发现；可轻松从公司年报图片，找到财务数据的变化；能够通过红外影像，精准地识别车辆的位置，帮助交通违停的管理；通过可见光和雷达的影像综合判断该地区的植被覆盖情况，帮助生态部门进行自然保护地的监测……真是相当厉害。

由此可见，盘古大模型5.0的多模态能力提升，才能让这些我们生活中需要的场景走进现实，也能让大模型支撑下的智能终端，更好地服务现实生活、融入现实生活。

除多模态能力全面升级外，盘古大模型5.0包含不同参数规格模型，十亿级参数的Pangu E系列可支撑手机、PC等端侧的智能应用；百亿级参数的Pangu P系列，适用于低时延、高效率的推理场景；千亿级参数的Pangu U系列适用于处理复杂任务；万亿级参数的Pangu S系列超级大模型能够帮助企业处理更为复杂的跨领域多任务。

盘古大模型5.0还将思维链技术与策略搜索深度结合，大幅提升数学能力、复杂任务规划能力，以及工具调用能力，可支撑终端处理复杂环境中的各项工作。

此之，盘古大模型5.0的云端协同能力，让终端可“端”可“云”，不仅可实现在端侧处理大部分简单任务，还可借助云端大模型完成对复杂任务的分析与处理。

02

盘古大模型5.0为终端叠加智能buff

此次盘古大模型5.0多种能力的提升，必将加速终端智能化，带来丰富的应用场景。此时，你或许好奇，华为云在推动盘古大模型赋能终端方面的具体成效如何？我们以手机、汽车、机器人这三类终端为例，详细解读分析下。

盘古大模型+华为手机终端，让手机更懂“主人”

智能语音操作、文学创作、日程安排等手机AI应用，让许多消费者眼前一亮。Canalys调研显示，全球有63%的受访者对手机上的AI应用及AI能力有兴趣。

但在实际应用中，部分手机配备的语音助手或AI应用，却常常“洋相百出”。如何让手机成为真正的AI手机？云助小艺提供了一种思路。云助小艺可以调用云上千万级参数大模型，支撑千万级用户在线推理，使语音对话、AIGC在线创作及个性化推荐能力全面提升。

除让小艺更具智慧外，盘古大模型还让华为手机基于云端协同，拥有了强悍的云拍照能力。以大火的华为Mate60系列手机为例，其独有的AI云增强拍照功能，让许多消费者连连称赞。

大受欢迎的背后，是消费者在用手机拍照时，往往在处理大合照场景时面临画质不佳、细节模糊、噪点多、人物面部僵硬等问题。华为Mate60系列手机依靠华为云KooVerse全球存算网调用云端算力，在云端进行AI推理，让照片更高清、更自然。

随着技术发展，云手机也走入大众视野，无须强悍的硬件配置，来媲美旗舰机的使用体验。比如，HarmonyOS云手机，调用云端多元算力，让云手机具备智能运维、智能调度、智能协同等能力，可胜任大规模仿真测试、移动安全办公、云手游、直播互娱等场景，帮助开发者轻松开发各种鸿蒙原生移动应用。

盘古大模型+自动驾驶，让汽车更聪明

自动驾驶作为汽车行业最前沿技术，不仅消费者翘首企盼，汽车厂商更是纷纷布局。自动驾驶大模型作为汽车的大脑，要做得很好，就要不断积累数百万公里的实际驾驶视频数据，从中训练学习各种疑难场景。然而，路测数据的局限性使得大模型的成长受到制约。为此，虚拟环境仿真成为关键。但传统的建模仿真方式成本高且难以完全模拟现实场景。

盘古大模型则让自动驾驶训练数据的积累方式，从建模仿真迈向AI生成，节省虚拟场景构造成本。更为重要的是，盘古大模型5.0通过创新的STCG技术，能很好地理解物理规律，生成不同路况、不同光照、不同天气的训练视频数据。

从事自动驾驶大模型训练的工作人员向笔者表示，过去，自动驾驶模拟训练时，空间多视角相机、连续时间下生成的逻辑如果没处理好，往往导致生成汽车发生形变，甚至导致生成的两辆车融合到一起。

盘古多模态大模型可以很好地理解物理规律，生成更加真实的训练视频。比如，在模拟中，一辆汽车可依次从右后、右前、正前三个摄像头中出现。如果穿越多个视角时，车辆的尺寸、外观、都不会发生变化。

此外，在驾驶场景生成中，盘古大模型生成的场景也更贴近生活，不仅可以按照要求生成街道、不同方向的车辆，而且生成晴天、雨天、黑夜等环境，让自动驾驶模型能够学会应对丰富多样的场景变化，帮助汽车解决自动驾驶数据集泛化生成、难例生成两大难题。

盘古大模型赋能自动驾驶能力到底有多强？笔者发现，盘古大模型在生成雨天视频时，还能细腻地模拟出车辆尾灯因光线昏暗而开启的细节。

据华为常务董事、华为云CEO张平安介绍，面向未来，盘古的多模态生成还会支持更多的场景，更好地为自动驾驶服务。

盘古大模型+具身智能，让机器人变得“智能”

具身智能是指让机器人或智能系统像生物一样，通过自己的身体去感知世界、理解世界，并在世界中行动和完成任务的智能技术。

在实际应用中，机器人往往存在智能化水平不足、泛化能力弱等问题。以斯坦福大学人工智能实验室开发的Mobile Aloha家务机器人为例，该机器人在处理复杂任务时，无法将锅放入橱柜，炒完菜后虾会粘在锅上，甚至找不到碗的位置。这种表现让消费者直呼“智障”。

“智障”表现背后，则是机器人对复杂室内空间的环境感知、物理空间认知不足，面向多场景的综合任务只能规划1到2步。

如何让机器人摆脱“智障”标签？我们看到，华为云推出盘古具身智能大模型，以云助端，一脑多形，赋能端侧机器人设备。

具体而言，华为云推出盘古具身智能大模型，可以让机器人完成10步以上的复杂任务规划，并且在任务执行中实现多场景泛化和多任务处理。对机器人企业而言，可借助大模型生成机器人需要的训练视频，加快机器人成长速度。

盘古具身智能大模型已经在实际应用中展现出其巨大潜力。华为云与乐聚（深圳）机器人技术有限公司的合作，成功提升了人形机器人的双臂可泛化操作能力，并实现了小样本数据训练的泛化操作，为其在工商业、特种领域、家庭等场景的应用奠定了坚实基础。在智能家居领域，添可公司借助盘古大模型，将烹饪领域的丰富经验和技巧集成到料理机中，实现了智能菜谱的生成。

现场，乐聚人形机器人夸父通过识别物品、问答互动、击掌、递水等互动演示，引来现场多次欢呼。

张平安也指出，除了人形机器人，盘古具身智能大模型还可以赋能多种形态的工业机器人和服务机器人，让它们帮助人类去从事危险和繁重的工作。