GPU 低配党也能嗨起来了？
一直以来，运行大型语言模型都是高端显卡的专利。
但现在，这个局面似乎要被打破了！
最近，Reddit上一篇热门帖子引发了广泛讨论。有用户分享了一个令人兴奋的发现：
使用exllama v2，竟然可以在单张RTX 3090上运行32B参数的模型！
这是怎么做到的呢？
秘诀就在于exllama v2的一系列优化技术：
5位量化：大幅压缩模型体积
32K上下文：提供更长的对话能力
Q6缓存：平衡性能和内存占用
闪存注意力：加速计算过程
缓存量化：进一步节省内存
这些技术的组合，让原本只能在多卡或高端服务器上运行的大模型，现在可以在家用级别的显卡上流畅运行了。
但故事并未就此结束。
讨论中还出现了一些更有趣的观点：
性能之王RTX 4090：有用户表示，RTX 4090在处理提示词的速度上，竟然比苹果的M3 Max快了15.74倍！这个数据令人咋舌，不得不说，NVIDIA在AI领域确实实力强大。
平民之选Intel Arc A770：对于预算有限的用户来说，Intel的Arc A770系列显卡可能是个不错的选择。它们拥有较高的内存带宽，理论上更适合运行大型语言模型。不过，软件兼容性可能是个问题，需要用户权衡利弊。
软件优化的重要性：exllama v2的成功，再次证明了软件优化对于AI模型运行的重要性。通过精巧的算法和技术，我们可以让现有硬件发挥出更大的潜力。
这可是普通AI爱好者们的重大好消息啊！
以前需要花费数千美元才能体验的大模型，现在可能只需要一张RTX 3090就能搞定。
这大大降低了入门门槛，让更多人能够参与到AI的探索中来。
不过话说回来，虽然家用显卡现在能够运行32B模型，但在性能和稳定性上可能还无法与专业设备相比。
对于严肃的研究或商业应用，仍然需要更强大的硬件支持。
不过，这种平民化的趋势无疑是令人兴奋的。它意味着AI技术正在加速向普通用户渗透，未来可能会催生出更多有趣的应用和创新。
今天就写到这里，不说了，我要去给我那台落灰的4090开机了！
reddit 链接:
https://www.reddit.com/r/LocalLLaMA/comments/1h12cmq/cheapest_hardware_go_run_32b_models/
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
