首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

安谋科技：端侧AI应用的机遇与挑战

汽车 2024-11-02 08:18 上海

芝能智芯出品

在中国硬科技产业链创新趋势峰会上，安谋科技产品总监鲍敏祺详细介绍了端侧AI应用的现状、机遇与挑战，特别强调了NPU（神经网络处理单元）在提升终端算力方面的重要作用。

随着生成式人工智能（AIGC）和大模型技术的快速发展，AI技术正从云端向终端设备延伸，为智能手机、PC、汽车等设备带来了新的应用场景。

端侧AI的兴起不仅带来了技术突破，还在用户体验、数据隐私和安全性等方面产生了深远影响。

Part 1

端侧AI的崛起：

NPU的战略地位

AI计算主要依赖于云端，但云端计算存在延迟和数据隐私的问题。

随着NPU的广泛应用，端侧设备逐渐具备了处理AI任务的能力。NPU是专为神经网络计算设计的加速器，与传统CPU和GPU相比，它在执行AI模型时效率更高、功耗更低，适合资源受限的设备。

鲍敏祺指出，端侧AI可以在本地处理数据和任务，实现快速响应，无需将数据传输到云端，从而提升用户体验并保护隐私。

NPU技术的进步推动了终端设备在语音识别、图像处理和自然语言处理等多模态任务上的性能提升。例如，现代智能手机可以利用内置NPU实现实时物体识别，帮助用户管理和分类照片。

端侧AI不仅在消费电子产品中表现出色，在智能家居、智能穿戴、自动驾驶等领域也有广泛的应用前景。

● 端侧AI的核心挑战：算力与带宽的平衡

端侧AI潜力巨大，但其发展仍面临技术和资源的限制。当前，端侧设备的带宽一般在50-100GB/s之间，而云端则可以提供数百TB/s的带宽。

鲍敏祺指出，端侧设备通常运行1-3B参数的大模型，少数情况下可以达到7B，而云端可以运行100B甚至更大的模型。这种带宽和算力的限制使得端侧设备在处理AI任务时无法达到与云端相同的计算能力，导致模型规模和功能复杂性受限。

端侧AI应用需要满足实时性要求，例如在语音助手和图像识别等应用中，用户期望响应时间在毫秒级别。带宽和算力的限制使得端侧AI模型需要在效率和效果之间找到平衡。

这促使芯片制造商在设计端侧NPU时，需要在性能和功耗之间进行权衡，以实现最优的功率效率比。

Part 2

端侧大模型的发展：

多模态与个性化应用的趋势

目前端侧大模型的发展主要集中在语言模型和文生图（文本生成图像）模型，未来将扩展到多模态领域。

多模态模型能够处理语言、图像、音频、视频等多种数据输入类型，满足多样化应用需求。例如，用户可以通过自然语言与设备互动，同时用图片进行信息输入，实现更智能的用户体验。这种多模态AI不仅是人机交互的进展，也让终端设备能够更深入地理解用户需求。

端侧AI的个性化能力是未来的重要方向。通过在设备上进行个性化训练，端侧AI可以不断适应用户的行为习惯，提供更个性化的体验。例如，通过学习用户的拍照偏好，智能手机的AI系统可以自动调整相机设置，甚至在拍照时推荐最佳拍摄模式。这种个性化特性将进一步提高用户黏度，为终端厂商带来更多的商业机会。

● 端侧AI赋能新兴设备：可穿戴设备的潜力

端侧AI的应用场景已经从智能手机、PC等传统设备扩展到可穿戴设备。

随着NPU技术的提升，可穿戴设备能够在小巧的体积内实现语音识别、健康监测和图像处理等功能。例如，搭载NPU的智能手表可以在本地处理语音命令，提供更便捷的用户体验。

智能眼镜等新兴可穿戴设备也可以借助端侧AI技术提供实时翻译、情绪识别等功能，拓宽了可穿戴设备的应用边界。

通过在可穿戴设备上引入AI功能，厂商能够提供更具吸引力的产品，从而在竞争激烈的市场中脱颖而出。例如，具备实时语音翻译和心率监测功能的智能手表可以在出国旅行、健康管理等场景中为用户提供更多实用性，提升生活质量。

● 端侧AI的技术挑战与行业机遇

端侧AI在许多方面展现出巨大的应用前景，但鲍敏祺指出，它仍然面临一些技术挑战，主要集中在存储带宽、功耗和生态系统三个方面。

◎ 存储与带宽：端侧设备的存储容量和带宽限制使得其无法像云端一样处理大规模数据。为了解决这一问题，行业需要进一步提升存储介质的性能，同时优化数据压缩和传输算法，减少AI计算对带宽的需求。

◎ 功耗限制：端侧设备在AI计算时会面临显著的功耗挑战，尤其是在手机等手持设备中，功耗过高将影响设备的电池续航。因此，NPU的设计需要在保证算力的前提下控制功耗，提升能效比，确保AI功能不会影响设备的使用体验。

◎ 生态系统的构建：为了推动端侧AI的广泛应用，构建开放且兼容的生态系统至关重要。通过建立标准化的接口和协议，行业内的厂商可以在同一平台上开发、部署AI模型，推动终端设备的智能化升级。加强与云端AI系统的协同合作也是端侧AI未来发展的重要方向，以实现端-云一体化的智能服务体验。

展望未来，鲍敏祺提出了一个重要的概念——“Agent智能体”。这种智能体不仅执行命令，还能通过深度学习和强化学习实现自我优化和提升，更全面地理解和满足用户需求。

智能体可以在不断获取用户反馈的过程中进行自适应调整，为用户提供更为精准的服务。例如，通过与用户的互动，智能体能够推测用户的喜好、预判需求，并主动提供个性化建议，从而增强用户体验。

随着多模态AI和个性化模型的成熟，智能体将不仅局限于手机等传统设备，还可能出现在家用机器人、智能家居系统等场景中，为用户提供全天候的智能化支持。

这样的发展前景意味着端侧AI不仅是一项技术进步，更是推动万物互联和智能生活的核心动力。

小结

安谋科技在本次峰会中探讨了端侧AI应用的现状、挑战及未来发展趋势，重点突出了NPU在提升终端算力和支持多模态AI方面的关键作用。端侧AI的兴起不仅满足了用户对实时性和隐私保护的需求，也为终端设备制造商带来了新的市场机遇。

http://mp.weixin.qq.com/s?__biz=MjM5MzM5MDY1MQ==&mid=2658292483&idx=4&sn=1db29ded5f6f7f42edb504c21ddd89fb

之前是汽车电子设计，现在2024在芝能汽车，紧跟技术创新，助力行业发展。

最新文章

吉利汽车：三季报创收入利润新高，品牌整合推动全球扩张

广州车展深度交流｜如何造一台“值得”的车？——乐道的品牌提升之路

芝能车市周报 |第44周：日系三强的销量如何？

非先进制程代工企业怎么活下去？——GlobalFoundries的第三季度

芝能车市周报 | 第44周的新美系：特斯拉、通用等美国车企卖了多少车？

特斯拉要做电动汽车无线充电，深度技术解析

广州车展深度交流｜零跑汽车的“两全其美”：全域自研与全球化布局

Microchip的2024年第三季度：MCU大厂在AI时代面临困境

欧洲车市 | 荷兰10月销量：新能源的市场份额在增加

新能源周销量｜第45周，自主品牌市占率达到63%！

芝能车市周报 | BBA和大众第44周各买了多少？

Wolfspeed：第三季度亏损，裁员、工厂关停、重组

欧洲车市 | 西班牙10月销量增长喜人，国产车逐步进入

特斯拉10月全球销量11.5万台，全年目标还能达成吗？！

芝能车市周报 | 比亚迪第44周：继续每周销量10万+

高通三季度财报：增长显著，业绩全面超预期

欧洲车市 | 意大利10月汽车销量：市场格局快速变化

All in中国的大众集团：2024年第三季度利润大跌

大咖金句 | “潮涌浦江共赢浦东”金桥开发区未来车产业发展论坛

芝能车市周报 | 第44周奇瑞集团卖得好的车型有哪些？

ARM2024年第三季度：AI时代加大投入

欧洲车市 | 英国10月销量下滑，纯电动逆势增长

奥迪2024年第3季度的困境：豪华科技品牌跟不上智能化转型了

芝能车市周报 | 第44周：吉利集团卖了多少车？

意法半导体2024年第三季度：汽车领域营收下滑显著

欧洲车市 | 法国10月：汽车销量连续六个月下滑，国产品牌逆势增长

奔驰2024年3季度营收利润全面下滑，BBA中优势尚存

芝能车市周报 | 第44周：长城集团各车型销量多少？

恩智浦2024年三季度：营收下降，利润下滑

欧洲车市 | 德国十月份汽车市场回暖

宝马 2024年第三季度：生产不利，净利剧降83.8%

芝能车市周报 | 日系三强第43周分别卖了多少车？

三星电子2024年第三季度：营收增长，押注AI未来

芝能车市周报 | 新美系各家车企第43周销量报告，特斯拉vs其他

LG新能源第三季度：如何应对全球动力电池需求放缓

芝能车市周报 | BBA的第43周，每家1万+

存储器新技术：FeRAM的高可靠性和无延迟

新能源周销量｜第44周：新能源持续走高，同比每周多十万台

基辛格掌舵下的英特尔：三年复兴之路未见成效

芝能车市周报 | 第43周：奇瑞各品牌销量

比亚迪2024年第三季度：营收首次突破2000亿元

芝能车市周报 | 第43周：比亚迪接近十万

马斯克的xAI：使用100K GPU Colossus集群

长城汽车第三季度：利润与销量平衡博弈，研发创新能否破局？

芝能车市周报 | 第43周：吉利汽车，银河发力

AMD 2024年第三季度：数据中心业务增长强劲

特朗普还是哈里斯？电动汽车产业将走向何处？

芝能车市周报 | 第43周：长城汽车

OpenAI联手博通、台积电：打造AI自研芯片

理想汽车2024年第三季度：销量飘红与股价低迷的 “温差”

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉