华为AI模型量化专利公布,可减少占用内存

文摘   2025-02-07 16:00   上海  
财联社创投通数据显示,华为技术有限公司申请的“人工智能模型的量化方法、处理系统和量化单元”专利近日公布。
摘要显示,量化单元可以基于运行AI模型的计算设备的各个计算单元的处理粒度,将量化矩阵分割成多个适用于各个计算单元的处理粒度的分块量化矩阵。量化单元可以对分块量化矩阵进行量化处理,以得到量化后的分块量化矩阵,并存储在存储器中,可以减少AI模型占用的内存。


科创板日报
服务新质生产力发展,是科创板、新兴产业及未来产业发展的重要新闻媒体,提供媒体、数据、投行、城市产业发展等服务体系,由上海报业集团主管主办,财联社出品。
 最新文章