2024年无疑是端侧AI爆发的一年,因此产业也通常将今年看作是“端侧AI元年”。当下,AI大模型在终端细分赛道展现出的强大生命力,各类AI产品几乎无处不在,AI手机、AI PC、AI眼镜,以及AIoT领域的各类AI智能终端设备成为当下数码和科技圈广为热议的关键词。根据Gartner预测,2025年AI PC全球出货量将超过1.14亿台,同比增长165.5%。另一边,AI手机也在快速普及,根据Canalys预测,2025年AI手机的渗透率可能会接近三分之一,出货量近4亿台。与此同时,具身智能机器人赛道火爆,智能汽车领域的AI应用落地更是“卷”得飞起。端侧AI的加速落地,让消费者感受到了不一样的AI体验:AI真的更“懂你”了,AI功能更加“个性化”,AI能力也更加深入系统级。端侧AI的价值愈发凸显。根据研究人员统计预测,端侧AI市场规模将在8年后冲向1436亿美元(约合人民币10400亿元),10年增长10倍。▲2022年至2032年按终端用户划分的端侧AI全球市场规模(单位:十亿美元)
在国内AI市场,AI的发展更加百花齐放,据艾瑞咨询测算,2023年国内AI产业规模已经超过了2100亿元,端侧和边缘AI芯片的比重也有望持续增长,大模型带来的底层技术革新无疑会给端侧AI产业规模增长带来更多存量扩张与增量空间。▲来源:艾瑞咨询
在这样的行业背景下,国内AI领域的玩家是走得最积极的一批,在技术落地方面推进得更加踊跃。从底层的芯片IP、芯片设计、制造到操作系统、大模型研发、终端,再到上层AI应用和服务落地,国内AI发展有着完整的全产业链条,本土AI新势力无疑有着充足的施展空间和机会。扛起本土AI底层生态建设大旗,需要国内厂商在端侧AI领域协同发力、抱团取暖。作为产业链最上游芯片IP领域核心玩家的安谋科技,刚刚在上海举办了一场端侧AI生态研讨会,聚集了从芯片、大模型到终端,从硬件、软件、算法到生态的各路行业头部企业,分享最新行业趋势,输出前沿观点。安谋科技销售及商务执行副总裁徐亚涛提到,AI未来的发展必然是多样性的,每一类产品都面临着AI化的挑战,整个产业都在被AI重塑。AI不是单打独斗可以搞定的,跨行业的深度合作将成为必然。▲安谋科技销售及商务执行副总裁徐亚涛
端侧AI落地
一场模型与算力的“双向奔赴”
本土AI新势力走向前台
就在昨天凌晨,OpenAI正式发布了Sora视频大模型,AI大模型的迭代再进一步,从文本到图像、从多模态到视频,大模型的发展快得令人不敢眨眼。一个不留神,可能就会掉队。随着超大规模的基座大语言模型不再持续狂飙,大模型向着边缘和端侧下沉的趋势日益明显,AI OS、AI智能体等概念逐渐成为行业共识,产业的关注焦点已经转向了真正赋能行业、实现落地。大家不再单纯地看TOPS(算力),而是更关注FPS(帧数性能)和tokens(生词速度),也就是更关注实际在应用场景中的表现。智源人工智能研究院副院长、总工程师林咏华提到,大模型的技术发展如今更加聚焦模态的多样性、模型结构算法的多样性以及生产部署的优化,大模型发展呈现出“两极分化”的态势:更强更大和更小更精。据统计,数百亿级以上的强大稠密模型,或10B以下的小模型更受欢迎,越来越多的小模型被发布和下载,而端侧AI的发展,显然更侧重于“更小更精”。与此同时,一个突出的特点就是国内AI企业在AI大模型这波浪潮中一直走在全球AI产业的前列,热门大模型中本土公司开发的模型占比很高。尤其是结合本土AI市场潜在规模,国内AI企业的发展潜力更是巨大的。安谋科技市场及生态副总裁梁泉也谈到了类似的观点,在端侧AI领域,模型与算力正在“双向奔赴”,小参数、多模态模型的能力快速提升,而旗舰设备的算力也已经达到50-100 TOPS。▲安谋科技市场及生态副总裁梁泉
在端侧AI的元年,虽然没人能确切地说出端侧AI的杀手级应用会是什么,但本土AI新势力发展端侧AI已经实打实地从技术军备竞赛走向场景化落地应用。本土企业领跑端侧AI落地
技术创新加速涌现
生态大一统走向必然
端侧AI的发展无疑正迎来一个新的“黄金时期”,从芯片、框架、大模型到终端,整个产业链的各个环节都在深度参与,快速适应,不断迭代产品和技术。与此同时,统一生态的重要性愈发凸显,端侧AI的高效落地,必然需要弥合碎片化的生态,需要产业链各方的共同努力。1、从手机、PC到汽车,芯片创新为端侧AI落地提供底层基础在端侧AI落地过程中,AI手机无疑冲在了最前面,苹果安卓两大生态分庭抗礼,安卓生态端,联发科、展锐等手机芯片巨头的AI手机芯片无一例外都是基于Arm架构打造。紫光展锐执行副总裁兼市场部部长黄宇宁谈道,端侧AI如今正涌现出更多成果,包括硬件、软件、端侧大模型、端云协同与安全技术等领域的诸多新技术的成熟都加速着AI手机的发展。▲紫光展锐执行副总裁兼市场部部长黄宇宁
从手机AI到真正的AI手机,一个能够自动执行复杂任务、真正懂我们的智能设备,AI手机的发展正迈入AI OS、AI智能体时代。在AI落地手机的过程中,很多厂商都明确提出了“端云协同”的混合AI模式。简言之,混合AI就是将云端的强算力与端侧的个性化、低时延、高数据安全性等特点相结合,真正实现优秀的端侧AI体验。据黄宇宁介绍,目前紫光展锐的芯片已经在三个AI典型场景中应用:全场景通用AI算力(端侧AI智能体)、多媒体专用AI算力和低功耗轻量AI算力。基于Arm架构和生态,紫光展锐可以提供CPU、GPU、NPU以及整合的SoC这些底层算力平台,而整个生态的构建则需要产业合作伙伴的共同努力。黄宇宁特别提到,在端侧AI落地过程中,统一生态是非常重要的,其最直接受益的就是开发者,而开发者则可以利用统一生态,把最新的算法、模型在芯片上快速实现落地,让用户最终享受到好的服务。除了AI手机,另一个端侧AI落地的重要领域就是AI PC。此芯科技生态战略总经理周杰提到,生成式AI正在推动PC产业的第三次革命,AI给PC产业注入了新的活力,包括异构AI算力、内存、SLMs(小模型)、智能体化,国内厂商都在积极拥抱端侧AI。▲此芯科技生态战略总经理周杰
已经发布的“此芯P1”芯片是一个高能效异构处理器,异构集成了Arm架构CPU、GPU以及安谋科技自研的“周易”NPU,此芯科技要用异构算力去赋能多场景端侧AI,将不同的计算模块应用在不同应用负载中。现场周杰还剧透了他们的AI PC开发套件新品Radxa Orion 06,这个开发套件搭载了“此芯P1”高能效Armv9处理器,可以基于异构算力支持主流端侧生成式AI大模型和传统CNN模型。显然,AI PC的发展会助力Arm架构在PC市场的崛起,Arm架构在AI PC生态有先发优势,是手机生态的自然延伸。同样基于Arm架构打造AI处理器的还有爱芯元智,在爱芯元智联合创始人、副总裁刘建伟看来,AI是稳定可靠的智能输出基建,是一场成本驱动型的生产力革命。▲爱芯元智联合创始人、副总裁刘建伟
AI的发展,带来了新的程序范式,因此需要真正按照原生AI处理思路设计的AI处理器,为此,爱芯元智将算子指令集与数据流DSA微架构相结合开发了相关AI处理器,可以兼顾灵活性和低能耗。他特别提到,AI处理器的设计要软硬件联合设计,让软件编程的负担越来越低。2、从云到端,模型变得“更小更强”,统一生态加速技术创新涌现在大模型研究方面,智源人工智能研究院、面壁智能和vivo都是各自领域的领跑者。端侧AI的落地,离不开大模型侧的技术突破和优化迭代。在智源人工智能研究院副院长、总工程师林咏华看来,未来10年,大模型必然会牵引AI走向美好的星辰大海,而在这个过程中,多元异构AI算力软硬件生态面临着巨大的技术挑战。▲智源人工智能研究院副院长、总工程师林咏华
芯片层面软件生态割裂、迁移成本高,而各种异构算力、多地域算力整合面临异构算力软件各异、软硬件稳定性差等难题。各个厂商私有的、碎片化的软件生态已经成为用户尝试其他AI硬件时的最大障碍。为多元异构AI芯片打造统一、开放、协作的软件生态系统就显得尤为重要,这也是智源人工智能研究院基于开源的Triton语言打造统一的软件层、打造面向国产AI芯片的软硬件生态系统的目的所在。Triton编译器可以支持Arm生态芯片,基于Triton算子库及编译器可以获得开发效率、性能效率上的双重优势。林咏华特别强调了统一生态的重要性,当上层有统一生态的时候,就会有更多软件技术层面的突破涌现,这对于整个产业都有重要的积极意义。面壁智能联合创始人&CTO曾国洋重点分享了自家面壁小钢炮系列大模型的最新进展,其“以小博大、高效低成本”的特点刚好印证了林咏华对于大模型趋势的判断。▲面壁智能联合创始人&CTO曾国洋
MiniCPM 3.0一个4B大模型,可以获得ChatGPT级基础性能,量化后内存占用仅有2GB,最新端侧多模态大模型 MiniCPM-V 2.6 8B模型则可以单图、多图、实时视频全维度超越GPT-4V。未来,大模型知识密度会随时间呈指数级增长,而端侧算力目前总量巨大亟待激活,存量手机终端算力总规模超过7100 EOPS,端侧AI市场势能强劲,“把大模型放到离用户更近的地方”,就是面壁智能未来核心要做的事情。作为手机终端巨头,vivo在自研大模型方面一直跑在行业前列,今年其自研的蓝心端侧大模型BlueLM-3B,已经在性能、功耗方面超越了原来的7B大模型,甚至可以达到云端70B大模型80%以上的效果。▲vivo AI规划高级总监孟祥育
系统级总结摘要、全局书写工具、多模态理解、vivo手机智能体PhoneGPT(自主拆解需求、主动规划路径、实时环境识别、动态反馈决策)这些端侧AI能力都落地在了vivo的旗舰手机中。目前手机端侧大模型发展面临的主要挑战,是内存、性能、功耗与模型效果之间的平衡,在vivo看来,3B大模型是端侧模型的黄金尺寸。未来如何更高效地更充分地利用芯片算力,在小参数模型上实现更好的端侧AI体验,是手机厂商们努力的方向。3、MNN提升大模型部署效率,ODM大厂重点布局软件做好“连接”在芯片和大模型之间,推理框架层面的技术迭代也十分关键,可以说起到了大模型在端侧落地的“催化剂”作用。阿里巴巴端侧AI技术专家邢世稳重点分享了其在MNN开源框架端侧大模型部署方面的探索。▲阿里巴巴端侧AI技术专家邢世稳
简单来说,MNN是轻量级深度学习推理引擎,涵盖了AI模型图优化、转换、高效运行,其核心要解决的就是模型在各类设备上高效部署运行的问题,尤其是移动设备。同样在“连接”方面具有独特价值的是作为ODM大厂的六联智能,其产品中心副总经理&产品总监张晓军提到,六联智能的目标是提供端侧AI全场景硬件解决方案,他们最近成立了专门的软件团队,连接处理器厂商和算法厂商,做更好的集成,打通“最后一公里”。▲六联智能产品中心副总经理&产品总监张晓军
目前,从个人10B到家庭/小企业10-100B,再到中大型企业100B+,六联智能都有全场景端侧AI解决方案,包括AI PC、AI工作站和服务器。4、立足自研NPU,异构计算+混合AI成为行业最优解可以看到,端侧AI已经成为整个AI产业都在重点布局的领域,而安谋科技在扛旗推动AI生态建设的同时,也基于自身的本土创新能力,推出了“周易”自研NPU,并从异构计算的角度进一步加速端侧AI的落地,给行业提供新的解法。安谋科技NPU产品总监鲍敏祺在会上提到,手机、平板、PC国际大厂纷纷发布各种应用,但当前以实际AI模型使用体验来说仍然不理想,国内AI算法模型应用生态仍然没有规模的商业落地。▲安谋科技NPU产品总监鲍敏祺
端侧AI的迭代非常快,从高频度的算法更新、计算模式优化、容量需求提升到算力要求提升,算力需求随着大模型多模态应用而持续增加,而大模型对NPU IP硬件也提出了新的需求。针对这些需求和挑战,安谋科技新一代“周易”NPU专门对transformer进行了优化,其涵盖了软硬件方案以及深入的系统考量,在功耗、面积、性能方面形成优势,可以说是基于软硬协同来应对未来应用场景。正如前文所说,在端侧AI的发展过程中,算力和模型呈现双向奔赴的趋势,而在这个过程中,挑战也很多,异构计算与混合AI的方式,可以更充分地利用端侧算力,已经成为业内公认的最优解。既懂技术又懂市场
本土AI生态圈“扛把子”不是一天炼成的
可以看到,从手机、PC、汽车到整个物联网AIoT,包括智慧家庭、无人机、智慧工厂、机器人、智慧监控、智能零售、智能穿戴,几乎各个产业都可以为AI所赋能。芯片企业、大模型企业、终端巨头,产业链上下游各方也都在积极行动,探索合作共建的端侧AI生态之道。在这一确定的方向上,安谋科技的产业价值不言自明。一方面,安谋科技在NPU、软件、异构计算平台等方面做好了解决方案级的技术布局,另一边其成为联合国内本土客户构建端侧AI生态的最核心推手。就在今天的研讨会上,“AIPC和EdgeAI联合实验室”正式揭牌,这是一个由安谋科技牵头发起,联合产业多方共同搭建的AI平台,核心就是要做本土的AI生态建设、社区发展和技术运营,进而给端侧AI的落地添柴。实验室会聚焦PC与Edge领域,探索AI生态和应用场景,跟产业链合作伙伴一起去构建本土的技术生态。当然,这也是国内厂商对接Arm全球生态的一个关键平台。其实,通过现场与会者的发言,在笔者看来安谋科技牵头来组这场端侧AI的交流分享局的立足点可以用以下几个关键词概括:一是“连接”。一边是完整的自研业务产品和本土市场服务能力,一边是Arm成熟技术标准和生态体系,从Arm通用IP到自研产品,让其可以通过更灵活的产品组合和形式去对接、赋能产业。二是“上游”。作为本土AI产业链上游的独特视角是其有别于其他端侧AI组局者的另一个核心标签,可以站得更高看得更远,对技术趋势的判断也更加前瞻和精准。三是“本土”。作为一家本土企业,对于本土AI市场的实际需求、关键痛点都有着更精准的把握,所进行的本土技术创新也更有针对性。这些都是安谋科技在今天国内AI产业中的不可替代之处。正如安谋科技市场及生态副总裁梁泉所说,在端侧AI的落地过程中,很多问题往往需要既懂模型、又懂底层软硬件的人才能解决,这对于厂商来说挑战很大。但同时这些问题又有着共性,建立一套统一的软件生态,意义十分重大,安谋科技的一系列动作恰恰就是要帮助企业解决这些挑战。据了解,目前已有智源人工智能研究院、紫光展锐、爱芯元智、六联智能、系微软件、此芯科技、亿道数码、辉羲智能、面壁智能、零一万物、中科加禾、瑞莎计算机等十几家正式加入AIPC和EdgeAI联合实验室,上海漕河泾开发区则为该实验室提供相关产业支撑。安谋科技在推动端侧AI生态建设方面,无疑又迈出了关键一步。
从2018年成立至今,从承接Arm技术和生态赋能产业,到多条自研产品线的持续迭代。通过一手连接Arm生态,一手耕耘国内市场的独特站位,安谋科技持续致力于给本土AI发展提供更具针对性的软硬生态协同的一体化解决方案。而伴随着Arm计算平台面对AI时代的稳步深耕,Arm架构成为未来AI计算的基础,已经成为必然趋势。我们也期待看到在本土端侧AI产业链上下游玩家们的通力协作下,本土AI产业在产品研发、技术创新和市场培育上多元发力,以更加迅猛的加速度,朝着万亿规模持续进发。(本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容,未经账号授权,禁止随意转载。)