关注真聊技术，我们一起探究AI奥秘！
DeepSeek-R1已经发布超过一周，我也第一时间发布了关于基于vLLM部署DeepSeek-R1以及DeepSeek-R1-Distill-Qwen-32B的相关文章。我的文章主要介绍了在构建企业RAG系统时，如何将DeepSeek-R1作为大模型模块进行部署，企业在业务发展中使用这一方案完全足够。
然而，我发现将AI集成到个人设备、甚至口袋的需求正在迅速增长。因此，除了编写DeepSeek-R1操作手册外，这几天我还深入探索了不同参数模型的部署方式，总结出一套适合个人与企业同时使用的部署方案。
关于基于DeepSeek-R1蒸馏的六款子模型是否适合个人部署，我特别关注了其中一些模型文件非常庞大的版本，比如DeepSeek-R1-Distill-Qwen-32B和DeepSeek-R1-Distill-Llama-70B。为此，我专门向DeepSeek进行了咨询。
目前市面上有许多开源模型框架可供选择，但大多数框架主要面向企业级部署，通常通过各种模型加速技术提升性能。
DeepSeek-R1官方推荐的几款框架包括：vLLM、SGLang、TensorRT-LLM等。
那么，是否有适合个人部署的框架呢？
Ollama是一个开源框架，专为简化在本地机器上部署和运行大型语言模型（LLM）而设计。
易于使用：提供简洁的命令行界面和类似OpenAI的API，便于用户轻松管理和运行大型语言模型。
跨平台支持：支持MacOS、Linux和Windows（预览版）系统，并提供Docker镜像，方便在不同环境下部署。
模型管理：支持多种大型语言模型，如Llama、Mistral等，用户可从模型仓库下载或自行导入模型。
资源高效：优化资源占用，支持GPU加速，提升模型运行效率。
可扩展性：支持同时加载多个模型和处理多个请求，可与Web界面结合使用，方便构建应用程序。
ollama run deepseek-r1:7bollama serveollama run deepseek-r1:32b爆竹声中辞旧岁，
团圆饭后话桑麻。
春风拂面千家乐，
明月高悬照万家。
个人在本地部署时，可以根据自己的电脑配置选择不同参数的模型。如果你的电脑配有GPU显卡，且显存约为22GB，可以选择32B模型。该模型在各项指标上可与ChatGPT-o1-mini相媲美，具备完整的思考与推理过程，除了性能与DeepSeek官网差一些，其它体验相差无几。
如果你有阿里云、百度云等提供GPU的云服务器，也可以选择在云端部署大型模型，并在个人电脑上安装Open WebUI配置云端模型，这样的使用体验将是最佳的，同时还能确保个人信息安全。
curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B","messages": [{"role": "system", "content": "You are DeepSeek-R1-7B. You are a helpful assistant."},{"role": "user", "content": "请介绍一下你自己"}],"temperature": 0.6,"top_p": 0.8,"repetition_penalty": 1.05,"max_tokens": 512}'
{"id": "chatcmpl-711471f00c9c40f6b4cdd66a9995d843","object": "chat.completion","created": 1738595207,"model": "deepseek-ai/DeepSeek-R1-Distill-Qwen-7B","choices": [{"index": 0,"message": {"role": "assistant","reasoning_content": null,"content": "<think>\n您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1-7B。如您有任何任何问题，我会尽我所能为您提供帮助。\n</think>\n\n您好！我是由中国的深度求索（DeepSeek）公司开发的智能助手DeepSeek-R1-7B。如您有任何任何问题，我会尽我所能为您提供帮助。","tool_calls": []},"logprobs": null,"finish_reason": "stop","stop_reason": null}],"usage": {"prompt_tokens": 22,"total_tokens": 103,"completion_tokens": 81,"prompt_tokens_details": null},"prompt_logprobs": null}
DeepSeek-R1已经将AI大模型带入了寻常百姓家，为AI的普及做出了巨大贡献。最后，我用DeepSeek-R1创作的一首诗来结束今天的分享。
我的提示词：
请你用DeepSeek-R1已经让AI大模型进入寻常百姓家为背景，仿刘禹锡的诗体，写一首属于你的诗句。
《智咏》
——DeepSeek-R1智启万门
寻常巷陌无寒暑，
一屏尽览古今情。
莫道云端高难问，
智能入世万象新。
千帆竞发星河渡，
万户轻吟数据鸣。
且看AI春风里，
笑与人间共潮生。
注：笔者以刘禹锡"沉舟侧畔千帆过"的变革视角切入，用"巷陌无寒暑"喻指AI普惠带来的生活质变，"云端高难问"化用"白云在青天"的古典意象，转以"数据鸣"赋予科技人文温度。末句"共潮生"既呼应刘禹锡"潮打空城寂寞回"的时空哲思，更展现智能时代人机共生的新境界。
声明：本文为 真聊技术 原创，转载请联系授权。
看完本文有收获？请转发分享给更多人
关注「真聊技术」，提升综合技能
真聊技术
分享、点赞和在看就是最大的支持❤️
