ChatGPT激发了人们的好奇心也打开了人们的想象力,伴随着生成式AI(Generative AI)以史无前例的速度被广泛采用,AI算力的需求激增。与传统计算发展路径类似,想让AI普及且发掘出AI的全部潜力,AI计算必须合理的分配在云端服务器和端侧装置(如PC,手机,汽车, IoT装置),而不是让云端承载所有的AI负荷。这种云端和端侧AI协同作战的架构被称为混合AI(Hybrid AI),将提供更强大,更有效和更优化的AI。换句话说,要让AI真正触手可及,深入日常生活中的各种场景,离不开端侧AI的落地。
端侧AI将机器学习带入每一个IoT设备,减少对云端算力的依赖,可在无网络连接或者网络拥挤的情况下,提供低延迟AI体验,还具备低功耗、高数据隐私性和个性化等显著优势。AIoT的一个最重要载体是电池驱动的超低功耗小型IoT设备,其数量庞大且应用丰富,在新一代AI的浪潮中,端侧AI是实现人工智能无处不在的关键,而为电池驱动的低功耗IoT装置赋能AI又是让端侧AI变为现实的关键。
2024年11月5日,炬芯科技股份有限公司董事长兼CEO周正宇博士受邀出席Aspencore2024全球CEO峰会,结合AI时代热潮及端侧AI所带来的新一代AI趋势,分享炬芯科技在低功耗端侧AI音频的创新技术及重磅产品,发表主题演讲:《Actions Intelligence: 端侧AI音频芯未来》。
炬芯科技目标是在电池驱动的中小模型机器学习IoT设备上实现高能效的AI算力
以上传统技术的能效比较差的本质原因均源于传统的冯•诺依曼计算结构。传统的冯•诺伊曼计算系统采用存储和运算分离的架构,存在“存储墙”与“功耗墙”瓶颈,严重制约系统算力和能效的提升。
在冯•诺伊曼架构中,计算单元要先从内存中读取数据,计算完成后,再存回内存。随着半导体产业的发展和需求的差异,处理器和存储器二者之间走向了不同的工艺路线。由于工艺、封装、需求的不同,存储器数据访问速度跟不上处理器的数据处理速度,数据传输就像处在一个巨大的漏斗之中,不管处理器灌进去多少,存储器都只能“细水长流”。两者之间数据交换通路窄以及由此引发的高能耗两大难题,在存储与运算之间筑起了一道“存储墙”。
此外,在传统架构下,数据从内存单元传输到计算单元需要的功耗是计算本身的许多倍,因此真正用于计算的能耗和时间占比很低,数据在存储器与处理器之间的频繁迁移带来严重的传输功耗问题,称为“功耗墙”。
基于SRAM的存内计算是目前低功耗端侧AI的最佳解决方案
炬芯科技创新性采用模数混合设计实现基于SRAM的存内计算(CIM)
炬芯科技正式发布新一代基于MMSCIM端侧AI音频芯片
炬芯科技Actions Intelligence助力AI生态快速发展