在家运行670B参数超级AI DeepSeek R1 的方案来了！
Hugging Face工程师Matthew Carrigan公布了一套超详细的配置指南，让普通人也能用6000美元在家运行DeepSeek R1这样的超大模型，对应人民币则约4万元。
现在，我来带大家一步一步看看该怎么做。
第一步：准备硬件
这套方案最让人兴奋的点是：不需要买昂贵的显卡！
我们只需要购买以下配件：
主板选择
要买双路EPYC主板，建议选择Gigabyte MZ73-LM0或MZ73-LM1。
为什么选这个？
因为它有24条内存插槽，能让我们接入足够多的内存。
CPU选择
需要买两个AMD EPYC处理器。
别担心，不需要买最贵的型号，因为运行AI主要吃内存带宽，所以可以选择便宜一点的EPYC 9115或9015。
内存配置
这是最关键的部分！
需要买24条32GB的DDR5内存条，总共768GB。
Matthew建议用V-color或Nemix的内存，性价比更高。
其他配件
机箱：选Phanteks Enthoo Pro 2服务器版，因为普通机箱装不下这么大的主板
电源：海盗船HX1000i就够用了，因为整机功耗其实不到400W
CPU散热器：可以选Arctic Freezer 4U-SP5，记得买两个，因为有两个CPU
硬盘：随便买个1TB以上的NVMe固态硬盘就行
第二步：组装电脑
安装CPU：小心把两个EPYC处理器放进主板的CPU插槽
安装散热器：每个CPU上都要装一个散热器，注意要涂导热膏
安装内存：把24条内存条分别插入主板的内存插槽，要注意方向
其他安装：按普通电脑的方式装好电源、硬盘等其他配件
第三步：软件配置
系统安装
下载一个Linux系统，比如Ubuntu
制作启动U盘并安装系统
安装完成后进BIOS把NUMA组设为0（这很重要，能提升性能）
安装AI运行环境
安装llama.cpp：
git clone https://github.com/ggerganov/llama.cppcd llama.cppmake
下载模型文件：
打开浏览器访问：https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main
找到Q8_0文件夹
下载里面的所有文件（有700GB那么大）
第四步：运行模型
准备工作都做完了，接下来就是激动人心的启动时刻：
打开终端，进入llama.cpp文件夹
输入启动命令：
llama-cli -m ./DeepSeek-R1.Q8_0-00001-of-00015.gguf --temp 0.6 -no-cnv -c 16384等待模型加载：因为要加载700GB的文件到内存，需要等一会儿
开始对话：加载完成后就可以和AI聊天了！
Roland Fernandez(@rolandalong)问了大家最关心的问题：
这套系统的运行速度如何？
Matthew给出了具体数据：每秒能生成6-8个字。虽然不算快，但已经够用了！
虽然速度不够快，但重要的是，这套方案让普通人也有机会亲手玩转顶级AI模型了！
虽然要花6000美元，但比起企业级的动辄几十万的解决方案，这已经是一个巨大的进步。
One More Thing！
本地运行时，还有一个神奇用法！
Matthew Carrigan 透露了一个秘密：在本地运行Deepseek-R1时，我们可以窥探并参与它的「内心独白」！
这意味着，我们可以直接编写模型的内部思考过程，让模型顺着我们的思路去走。
从而让我们更好地理解和控制AI的决策过程，这不仅很有趣，可能还很危险！
想试试的朋友，赶紧整起来吧！
相关链接
主板：https://www.gigabyte.com/Enterprise/Server-Motherboard/MZ73-LM0-rev-3x
机箱：https://www.newegg.com/black-phanteks-enthoo-pro-2-server-edition-full-tower/p/N82E16811854127
电源：https://www.corsair.com/us/en/p/psu/cp-9020259-na/hx1000i-fully-modular-ultra-low-noise-platinum-atx-1000-watt-pc-power-supply-cp-9020259-na
散热器：https://www.arctic.de/en/Freezer-4U-SP5/ACFRE00158A
llama.cpp项目：https://github.com/ggerganov/llama.cpp
模型下载：https://huggingface.co/unsloth/DeepSeek-R1-GGUF/tree/main
👇
👇
👇
👇
本文同步自知识星球《AGI Hunt》
星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容，并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。
每天约监控6000 条消息，可节省约800+ 小时的阅读成本；
每天挖掘出10+ 热门的/新的 github 开源 AI 项目；
每天转译、点评 10+ 热门 arxiv AI 前沿论文。
星球非免费。定价99元/年，0.27元/天。(每+100人，+20元。元老福利~）
一是运行有成本，我希望它能自我闭环，这样才能长期稳定运转；
二是对人的挑选，鱼龙混杂不是我想要的，希望找到关注和热爱 AI 的人。
欢迎你的加入！
