端侧AI随时上云？这套端边云协同方案给出了新解法

科技 2025-01-06 21:54 北京

不再纠结端侧AI算力够不够用了。

作者 | 徐豫

编辑 | 漠影

AI手机、AI PC、AI眼镜等智能设备正逐步AI Agent化，但这些小型终端要用上大模型能力，还差一把关键钥匙，即一套端边云联动的解决方案。

智东西1月6日报道，目前，大模型行业正呈现出端边云协同，以加速端智能场景落地的新趋势。

过去一年，智能门锁、AI看护机、AI眼镜、无人机等多种形态的端侧AI产品密集涌入市场，主打轻量化部署，其内置的AI模型通常小而易用。然而，端侧设备的功耗和算力仍十分受限，涉及复杂计算的推理任务正在向边缘和云端转移。

换句话说，大模型所具备的算力优势与小模型侧重的低成本部署之间，还缺少一座连接的桥梁。字节跳动旗下的云服务平台火山引擎给出了它们的最新解法。

在2024年冬季火山引擎FORCE原动力大会上，火山引擎边缘云官宣全面升级其智能边缘，优化了物联网平台、智能平台、边缘大模型网关服务，并推出了边缘原生智能体。这可以看作是一整套基础设施，可以用这个系统连接起端侧小模型应用和边云大模型能力。

火山引擎边缘智能技术负责人谢皓解释道，端侧主要提供了OneSDK一站式解决方案，使得端侧的嵌入式设备也能用上大模型；边缘侧上线了大模型网关，提升了大模型调用过程的效率和稳定性；中心侧会编排一些智能体，降低大模型部署应用的难度；而边缘原生智能体可面向不同行业定制个性化的智能体。

对于边缘智能最新技术优势、边缘智能新应用场景和边缘智能下一步发展重点，谢皓也向智东西分享了他的看法。

他认为，边缘AI的发展当前可以分为基础设施和应用场景两个方面来看，前者主要负责解决连接和计算问题，并提供大模型调度和计算推理能力。而边缘AI应用场景的发展目前仍受限于碎片化和难规模化，谢皓称，一套支持端边云联动的智能边缘架构多数情况可复用，在一定程度上能拓宽边缘AI的部署范围。

为什么要强化AI Agent与大模型的连接，如何安全地实现计算任务的端边云协同处理，边缘智能解决方案能应对AI Agent时代的哪些难题？与火山引擎边缘智能技术负责人谢皓深入沟通后，我们详细拆解了一站式边缘智能解决方案的两大技术优势。

01.

大中小厂都在用
AI Agent调动大模型有新招

从卷大模型技术到卷大模型应用，2024年AI Agent生态迎来了小高潮。据Cookie.fun最新数据显示，截至2025年1月4日，AI Agent整体市值已经达到173.6亿美元，过去7天的涨幅接近50%。

除了资本市场热度升温，AI Agent自身能力也得到快速发展。《福布斯》2024年12月底援引业内人士观点称，预计2025年将出现能够依据简短提示词执行复杂任务的AI Agent。

在LangChain一份针对2024年AI Agent现状的调研报告中，1300多名受访者超半数已经在生产过程中使用Agent。其中员工规模介于100至2000名的中型公司占比63%，最常用Agent来为生产过程提效。

如果该调研进一步扩大筛选范围，把有计划应用AI Agent或正在开发AI Agent的公司都算在内，那么AI Agent的潜在和实际用户比例则高达78.1%。

这也意味着，过去一年大多数公司有意愿引入AI Agent，但可能实际部署时遇到了各式各样的绊脚石，从而滞后了相关计划。其中可能不乏一些早前积累了AI模型资源的公司，那么基于一个更通用的边缘AI基础架构，按需把AI模型能力迁移至端侧设备，或许是其新的出路。

据公开信息显示，国内的润欣科技、地瓜机器人、上海一高校等不同领域的公司和单位，都开始加速落地大模型，以刺激业务增长。而这背后用到了火山引擎的边缘智能基础架构。

为了更好地适应AI Agent时代，该边缘智能基础架构优化了4大方面，包括简化端智能接入流程，提升边缘云推理请求的加速性能、推理能力和安全性，增强大模型文件分发、智能体配置等功能，以及新增了多个行业智能体。

谢皓接受智东西采访时提到这套解决方案所涉及的AI模型，云上服务主要使用豆包大模型，而解析提示词等步骤则会用到一些带有行业属性的、自家微调的传统CV模型，或者开源的小模型。

02.

会节约算力的智能决策器
隐私安全为最高优先级

通常情况下，AI Agent需要依赖云端服务器为其提供大量的算力和算法支持，但同时也面临着算力资源争抢和部署成本高昂的问题。相对于云服务而言，端智能在本地设备等端侧处理计算任务，能够有效降低时延和运算成本。

端智能在落地过程中可能会遇到以下四个方面的挑战，包括多平台集成、多SDK适配、多重设备身份管理和多种模型协同。对于上述多点联动的难题，火山引擎边缘智能上线了OneSDK、OneCredential和OneStop端智能一站式服务解决方案。

1、一站式软件开发端智能解决方案OneSDK

端侧会集成一个软件开发工具包（SDK），基于该SDK可一站式解决在线升级（OTA）、日志记录、远程登入、设备管理等设备运维需求，设备密钥、设备证书等设备安全需求，以及多模型和多智能体调用的设备智能需求。

同时，端侧还提供硬件抽象层（HAL）接口，以便在实时操作系统（RTOS）、其他嵌入式操作系统以及无操作系统的设备上迁移SDK。

2、一站式跨云服务权限端智能解决方案OneCredential

该解决方案支持云上多个平台间的身份互认和权限穿透，使得设备端可共享一套密钥和证书，从而允许访问边缘大模型网关、物联网平台等多项服务。

这一举措将有效降低设备端的资源占用，以及多份证书的重复创建成本，并且也避免了重复身份认证所带来的额外服务调用。同时，在满足安全性的前提下，该做法还提升了设备端的整体性能。

另外，在OneCredential端智能解决方案中，每个设备粒度可按需token配额，以提供针对端侧更划得来的计量和计费策略。

3、一站式企业部署端智能解决方案OneStop

通过深度融合端云技术，OneStop主要为企业降低了端侧智能体的开发与接入门槛。

不过，上述端智能解决方案虽然给端侧设备接入AI Agent提供了更多技术支持，但还不能一揽子突破端侧AI的算力上限。由于算力和内存等条件的限制，端侧AI大多采用的是小模型，这也导致其难以兼顾一些复杂的计算任务，或者更加多元化的应用场景。

如果AI Agent消耗算力时，也可以“吃多少拿多少”，自行匹配每次计算任务是调用端侧的小模型，还是边缘或云端的大模型，便能以性价比更高的方式应对较为复杂的人机交互场景。火山引擎边缘云2024年年底推出的智能决策器，就充当了这个分配过程的总控室。

据公开信息显示，该智能决策器可以依据提示词等信息，将任务按需分发至本地、边缘或云中处理。AI Agent推理请求难点主要是其对提示词的理解，因此该智能决策器的前端设置了一套提示词解析流程，即借助一个本地边缘大模型解析提示词，然后通过中心位的智能路由把解析结果传输给智能决策器。

那么接到一个计算任务时，该智能决策器如何界定需要用到本地、边缘还是云端的AI模型来处理呢？

其对于计算任务复杂程度的定性主要考虑两大方面，一方面是基于规则的静态决策，会综合考虑功耗、机型和温度等因素；另一方面是基于模型的动态决策，会从小模型、隐私判断和任务判断等维度考量适用情况。

但当决策结果出现矛盾时，数据安全和隐私将成为首要考虑原则。其决策先后顺序大致分为以下几步：计算任务的安全和隐私级别较高时，智能决策器的推理过程被要求仅调用本地模型；而计算任务的安全和隐私级别适中时，智能决策器再结合计算任务的复杂程度分流，涉及隐私的优先在本地处理，较为复杂的则倾向于调度至边缘或云端开展推理。

以智能座舱为例，车内摄像头可能会拍摄记录到一些涉及隐私的对话和行为，谢皓称这种情况下智能决策器会倾向于本地化处理，但如果是需要联网、涉及影像插件等较为复杂的操作，更多时候会交给云上大模型处理。

在智能决策器决定将推理请求转发至本地设备外的过程中，具备标准接口、就近访问、推理加速和高鲁棒性四大核心能力的火山引擎边缘大模型网关，会提供进一步的支持，以提升边缘和云端“大脑”的访问效率。

具体来看，在标准接口方面，边缘大模型网关适配约20家主流大模型厂商，以及多家智能体提供商，实现与OpenAI相一致的标准接口，从而简化了开发流程。

在就近访问方面，边缘大模型网关通过全球范围的边缘节点和智能流量调度策略，来实现端侧设备的就近快速接入，并降低延迟。

在推理加速方面，边缘大模型网关采用了多种缓存技术和边缘推理方法，有效提高了查询速度，并增强了整体性能。

在高鲁棒性上，边缘大模型网关设置了跨模型厂商的故障迁移机制，并应用了错误重试策略，以此增强请求处理的鲁棒性，使得计算任务处理的连续性和可靠性更强。

03.

能联动四方的边缘原生智能体
支持AI Agent就近上云

边缘原生智能体是AI模型端侧落地的一个重要形式。

火山引擎方面提出了边缘原生智能体的四大必备能力，包括理解设备能力、连接物理世界、单智能体协同和多智能体协同。这也各自对应了人机交互场景中动态捕捉和理解信息、自主感知或操作设备、单智能体完成特定任务、多智能体配合完成复杂任务的需求。

其中，为了完善边缘原生智能体自主感知、操作设备的效果，火山引擎选择联动自家的低代码平台“扣子”，通过定制插件和工作流来实现边缘智能与家用设备、工业设备、车载设备等物理世界实体的连接。火山引擎方面称，目前边缘原生智能体已应用于相关智能数字工厂和智慧园区，涉及工业质检、园区安防等领域。

现阶段，火山引擎边缘云的分布式云网基础设施在海内外共有2500多个边缘节点，其网络时延控制在较低的1至40毫秒区间，支持端边互联、边边互联和边云互联场景，从而实现智能应用就近上云。

同时智能应用从端侧迁移到边缘或云端的过程中，无论是单智能体内部的端边云互传，还是多智能体之间的协同连接，都依赖于一个安全传输网络。对此，火山引擎边缘云在DDoS防护、边缘WAF和频次控制等传统安全防护措施的基础上，新增了针对AI Agent的边缘安全防护功能，包括提示词检测、系统提示词防御、结果检查等。

04.

结语：从各司其职到取长补短
端边云协同成AI应用大势

当前，虽然大模型种类、性能及其开发商都较为多元，可供支持部署AI Agent的选择比较多，但芯片、算力、能源等大模型相关资源仍处于僧多粥少的阶段，因此中小型公司在AI Agent的部署上，常常难以抢跑大公司。但如果只用成本较低的端侧AI，又还不足以覆盖公司所有的生产提效需求和场景。

端边云协同处理AI任务将有效降低AI应用部署的成本，节约算力和功耗，进一步降低中小型公司引入AI Agent的门槛。

同时，支持端边云协同的边缘智能基础架构，有助于不同行业快速借鉴、定制可行的AI模型落地样本。从火山引擎边缘云现阶段公开的成果来看，具身智能、端智能芯片、智能玩具、创新教育等行业内都拿出了实战案例。

（本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。）

智东西

智能产业新媒体！智东西专注报道人工智能主导的前沿技术发展，和技术应用带来的千行百业产业升级。聚焦智能变革，服务产业升级。

最新文章

端侧AI随时上云？这套端边云协同方案给出了新解法

一枚智能戒指值380亿！三星荣耀踊跃入局

大模型中标排行榜出炉，科大讯飞成2024年度标王

追觅首创机械手，真正作用于亿万家庭的“灵巧手”出现了

AIGC时代，联想的野望和收获

2025 AI深度前瞻：推理成本暴降90%，智能体迎GPT时刻，空间智能涌现

支付宝长眼睛了！打造新一代视觉搜索，AI帮你探索万物

川普马斯克决裂倒计时？《福布斯》预测AI十大趋势：AI接管电脑，在太空建集群

雷军4小时跨年直播：交小米年终总结，晒30万辆交车目标，立了N多flag

00后李飞飞学生联合创业，破解世界级机器人难题，被稚晖君投资，独家对话创始人

大模型“六小虎”，拿下4200万大单

最快5秒光速出片，全球首个接近实时生成的AI视频模型来了

百年“老字号”靠AI上市，IPO估值10亿美元

从雷军到张文宏都是假的，起底乱象丛生的AI数字人带货

追觅再革新热清洁技术，智能清洁的竞争尚未进入困境

孙正义“芯片帝国”计划曝光！向特朗普承诺投资1000亿美元

如何快速部署和体验内置开源LLM大模型

2024年大模型融资全景：最高800亿，独角兽洗牌，地方国资猛扑

套壳AI公司，骗了800名员工和200只猫

三个人，估值650亿

AI大模型权威评测：豆包中文对话最强，OpenAI o1推理和数学占优

人形机器人再添数亿元融资！江苏创企拿下，曾帮小米造机器狗

2个月，11亿大模型大单，讯飞狂赚

AI视频创企又拿新融资，数亿元！

刚刚，马斯克融资438亿！黄仁勋苏姿丰都投了

一家AI独角兽宣布倒闭

微软CEO纳德拉年终访谈！赞同黄仁勋，坦露与OpenAI分歧，揭秘夺回市场战略

GMI Cloud King Cui演讲：AI Native Cloud助力企业出海，解决算力需求，构建高稳定性GPU集群

刚刚，又一家大模型独角兽获新融资：数亿美元！

OpenAI最强推理模型o3发布！AGI测试能力暴涨，最难数学测试分数碾压同行

专用、类人形、人形全面布局：普渡机器人解答了具身智能商业化的终极命题

比小米便宜，比Meta高清，国内首款量产AI眼镜999元开售

AI创企暴雷！90后女创始人欺诈被捕：涉案7000万，或面临40年刑期

苹果AI落地中国生变：正接触腾讯和字节，谁还有机会

深圳重磅AI利好！5亿元训力券，1亿元模型券，重奖爆款智能硬件产品

一口气融728亿！AI融资新纪录，比OpenAI还吸金，华人联合创办

黄仁勋深度专访：谈英特尔CEO下课，回应美国半导体管制，用AI写演讲稿

24万“AI民工”血汗，哺出一个95后亿万富豪

深圳教授联手三星高管押注具身智能！被联想创投等看中了

清华系大模型独角兽又融资，30亿元！今年商业化收入翻倍

学校新来的AI体育老师，量身定制每天一小时最合理运动计划

NVIDIA RTX™ 5880 Ada 性能解析与私有化大模型部署｜在线研讨会直播预告

清华系出手！全球第一款端侧全模态理解模型开源

国产AI算力黑马崛起，解密英博云全新产品矩阵

XR一夜变天，谷歌“重做安卓”！三星MR头显亮牌，硬刚苹果

2024 ACL Fellow出炉！全球九位科学家入选，华人有四位

后Scaling Law时代，需要一份向量数据库的琅琊榜

趣丸科技贾朔：探索音乐创作的技术平权——AI音乐的创新实践

谷歌最强大模型登场！掀Agent风暴，放AI芯片大招，深夜突袭OpenAI

让手机、PC、汽车、AIoT等“终端”都用好AI，搞定统一生态这事太重要了

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉