首页时事民生政务教育文化科技财富体娱健康情感

旅行百科职场楼市企业乐活学术汽车时尚创业美食幽默美体文摘

苹果正在与英伟达合作，想让 AI 的响应速度更快

科技 2024-12-21 11:59 广东

巨头联手

加速大模型

近日，苹果与英伟达宣布合作，旨在加速和优化大语言模型（LLM）的推理性能。

为了改善传统自回归 LLM 推理效率低和内存带宽小的问题，今年早些时候，苹果机器学习的研究人员发布并开源了一种名为「ReDrafter」（Recurrent Drafter，循环草稿模型）的推测解码技术。

图源：GitHub

目前，ReDrafter 已经整合到英伟达的可扩展推理方案「TensorRT-LLM」当中，后者是基于「TensorRT」深度学习编译框架的专为优化 LLM 推理而设计的开源库，支持包括「Medusa」等推测解码方法。

不过，由于 ReDrafter 所包含的算法使用了之前从未用过的运算符，因此英伟达方面添加了新的运算符，或者公开了现有的运算符，大大提高了 TensorRT-LLM 适应复杂模型和解码方式的能力。

图源：GitHub

据悉，ReDrafter 推测解码通过三个关键技术来加速 LLM 的推理过程：

RNN 草稿模型

动态树注意力算法

知识蒸馏训练

RNN 草稿模型是 ReDrafter 的「核心」组件。它使用循环神经网络（Recurrent Neural Network），基于 LLM 的「隐藏状态」来预测接下来可能出现的 tokens 序列，其能够捕捉局部的时间依赖性，从而提高预测准确性。

这个模型的工作原理是：LLM 在文本生成过程中首先生成一个初始 token，然后 RNN 草稿模型利用该 token 和 LLM 的最后一层隐藏状态作为输入进行束搜索（beam search），进而生成多个候选 tokens 序列。

与传统自回归 LLM 每次只生成一个 token 不同，通过 RNN 草稿模型的预测输出，ReDrafter 能够在每个解码步骤生成多个 tokens，大大减少了需要调用 LLM 验证的次数，从而提高了整体的推理速度。

图源：arXiv

动态树注意力算法（Dynamic Tree Attention）则是一种优化束搜索结果的算法。

我们已经知道，在束搜索过程中会产生多个候选序列，而这些序列往往存在共享的前缀。动态树注意力算法会识别出这些共享前缀，并将它们从需要验证的 tokens 中去除，从而减少 LLM 需要处理的数据量。

某些情况下，该算法能将需要验证的 tokens 数量减少 30% 到 60%。这意味着使用动态树注意力算法后，ReDrafter 能够更高效地利用计算资源，进一步提高推理速度。

图源：NVIDIA

知识蒸馏是一种模型压缩技术，它能够将一个大型、复杂的模型（教师模型）的知识「蒸馏」到一个更小、更简单的模型（学生模型）中。在 ReDrafter 中，RNN 草稿模型作为学生模型通过知识蒸馏从 LLM（教师模型）中学习。

具体来讲，蒸馏训练过程中，LLM 会给出一系列下一个可能词的「概率分布」，开发人员会基于这个概率分布数据训练 RNN 草稿模型，然后计算两个模型概率分布之间的差异，并通过优化算法使这个差异最小化。

在这个过程中，RNN 草稿模型不断学习 LLM 的概率预测模式，从而在实际应用中能够生成与 LLM 相似的文本。

通过知识蒸馏训练，RNN 草稿模型更好地捕捉到语言的规律和模式，从而更准确地预测 LLM 的输出，并且因为其较小的规模和较低的推理计算成本，显著提高了 ReDrafter 在有限硬件条件下的整体性能。

图源：阿里云开发者社区

苹果的基准测试结果显示，在 NVIDIA H100 GPU 上对数十亿参数的生产模型使用集成了 ReDrafter 的 TensorRT-LLM 时，其贪心解码（Greedy Decoding）每秒生成的 tokens 数量提高了 2.7 倍。

此外，在苹果自家的 M2 Ultra Metal GPU 上，ReDrafter 也能实现 2.3 倍的推理速度提升。苹果的研究人员表示「LLM 越来越多地用于驱动生产应用程序，提高推理效率既可以影响计算成本，也可以降低用户端延迟」。

图源：Apple

关注爱范儿，发现下一个明日产品

值得一提的是，在保持输出质量的同时，ReDrafter 减少了对 GPU 资源的需求，这使得 LLM 在资源受限的环境中也能高效地运行，为 LLM 在各种硬件平台上的使用提供了新的可能性。

苹果目前已经在 GitHub 上开源了这项技术，未来从中获益的公司将很可能不止英伟达一家。

文｜范津瑞

把华为全家桶升级成纯血鸿蒙后，我发现了它好用的秘密

苹果折叠屏 iPad 曝光！超大尺寸还没折痕，我扒出了这些细节

关注明日产品的数字潮牌

最新文章

这是目前最成功的 AI 广告，让苹果、可口可乐都落下风

苹果 AI 总结新闻闹乌龙，这比「标题党」更令人担心

14.88 万元！蔚来萤火虫发布，78.8 万的行政旗舰 ET9 同步开售

舒达智能床体验：怎么科学睡个好觉，这里有个答案

苹果没能做成的这个功能，成了国产厂商的新杀手锏

苹果正在与英伟达合作，想让 AI 的响应速度更快

极越公关负责人被开除/小红书大量封号，官方回应/坠崖车主感谢小米 SU7 保命

苹果国行 AI 会选谁?字节、腾讯还是智谱/小米:特斯拉厂长没来我们这/微信上线「送礼物」功能

VAIO SX14-R 体验：碳纤维的艺术，轻到极致

iPhone 17 Pro Max渲染图曝光/蔚来第三品牌萤火虫官宣,售价或低于10万/ChatGPT推出电话服务，老人机也能用

把华为全家桶升级成纯血鸿蒙后，我发现了它好用的秘密

近 22 万的苹果 Vision Pro 摄影机来了，可拍摄 8K 3D 视频

特斯拉在美新车被曝「重大问题」/保时捷否认中国区裁员 30% 及 N+6 赔偿/阿里巴巴亏 93 亿甩卖银泰

苹果折叠屏 iPad 曝光！超大尺寸还没折痕，我扒出了这些细节

Switch 2 要来了！首发《马力欧赛车 9》，配备磁吸手柄

4K 视频生成！Google 版 Sora 深夜秀肌肉，再度狙击 OpenAI

inD 广州艺术书展 2025 首批书摊名单公布，招募倒计时！

极越 CEO 夏一平发长文致歉：没有跑路/曝苹果将推出可折叠 iPad / 小米否认空调专利侵权格力

OpenAI 或推出每月 1.4 万元的「博士级」ChatGPT，业内大神：先让 AI 做好实习生

吉利将负责极越汽车售后/26岁OpenAI 吹哨人死亡，曾曝ChatGPT黑幕 /《黑神话：悟空》创始人谈TGA年度最佳

全面重修后的巴黎圣母院，还算是「历史遗迹」吗？

开发者爆改 iPhone 15 用上苹果 AI，还支持拍照按钮

AppGallery Awards 年度影响力应用与游戏发布，我们看到了鸿蒙应用生态的新趋势

全球首位 AI 程序员正式上线，这个月薪只要三千的同事能干什么？

Google 推出 XR 版 Android，将首批登陆三星头显

百度和吉利发布极越联合声明/《黑神话：悟空》获 TGA 最佳动作游戏奖/消息称苹果明年将采用自研的蓝牙和 Wi-Fi 芯片

《黑神话：悟空》无缘年度最佳，游戏奥斯卡被骂上热搜

极越高层否认亏空70亿，百度吉利介入/ 传 iPhone17 或改用条形横置摄像/ChatGPT 推出视频通话和屏幕共享功能

苹果 2024 年度最佳应用出炉，国产游戏夺得桂冠，这个设备首次入选｜附下载地址

苹果首款人工智能芯片曝光，想让 iPhone 的 AI 体验更「丝滑」

朋友圈被领导点赞成认定加班证据/苹果 2024 年度最佳 App 公布/ChatGPT 全面接入苹果全家桶

为 MacBook 安上 5G 芯片？你的 iPhone 终于不用开热点了

5分钟完成 1000 万亿年计算任务，Google 的量子芯片意味着什么？

Apple Watch Ultra 3 爆料：除了久等的血压检测，还有卫星短信

都猜错了！雷军公布小米 YU7 正确读法，隐藏式门把手大有玄机

下一代 Apple Watch Ultra 或将配备卫星通讯功能/小米驾校开启报名，9999元起/微信官宣两项新功能

今年爆发的智能眼镜是伪需求吗？体验后我被啪啪打脸

iPhone SE 4 最新爆料：全面屏来了，还支持苹果 AI

小米 SUV 新车将在明年六七月上市/张朝阳：歧视 35 岁或失去更好的员工/OpenAI Sora 正式上线

华为 Mate 70 Pro+ 拍照实测：「所见即所得」的红枫原色影像到底怎么样？

中国大模型生存战：巨头围剿，创业难熬

苹果或与索尼合作，让 Vision Pro 变成「游戏机」

明年 iPhone 将搭载自研 5G 基带芯片/雷军回应小米贴牌传闻/特斯拉平价车型或明年推出

2025 年，国产新能源决战之年

库克最新专访：回应 iPhone 争议按钮，苹果 AI 无收费计划，短期内不会退休

想念 MacBook 上的触控条？这家初创公司决定将它复活，Windows 用户也能用

《黑神话》入选《时代》年度 10 大最佳游戏/Kimi 杨植麟发文公开回应近期争议/通用汽车中国多部门裁员三分之一

这样拍，果然漂亮！

买前必看！ 2024 华为手表选购指南，三个步骤不买贵也不买亏

XREAL 全新眼镜发布：画面能大能小，还能变身「超宽屏」

分类

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉