最近DeepSeek很火,前两还有人热心的小伙伴向我来介绍它。
其实,我早在今年4月就已经把DeepSeek接入到不坑盒子的智能写作功能中了,那个时候他还默默无闻呢,绝大部分人都没听说过它。
最近他大火,各路新闻都已经报道得差不多了,相信大家也了解得差不多了。
昨天是大年初一哦,不过我还是连续发了2条视频,结果🔥了!
给大家简单描述一下上面2个视频的内容。
三种使用大模型的途径
这里所说的大模型,是指开源的、通用的大模型,不限于DeepSeek。
使用官方的平台(APP或网页):打开即用,但后续可能会收费,可能服务器会宕机、可能会卡顿…… 通过官方API接口使用:一般是程序员想把AI的能力接入到自己的软件中使用,比如:不坑盒子中接入的“智能写作”,这种是要向官方付费的; 用户自己在电脑上安装部署开源的大模型,直接本地使用:安装好后无需网络,只要自己电脑能运行,就不受别人的影响了。
如何本地部署
视频中演示的是本地部署DeepSeek,但其他开源大模型也差不多,原理是相通的。
我给大家分享的方法不需要在Docker中安用户界面,更方便。
下载Ollama:ollama.com
如果你的网络下载不了,那给我发关键词【T95280】获取网盘链接,也能下载。
下载大模型:在电脑的CMD命令窗口,运行下面代码中的某一行,后面的数字越大,模型参数越多,体积就越大,如果只是想试试建议运行第一行。
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b设置环境变量:在你在系统中添加一组环境变量,下面2个,一个字都不能错。
OLLAMA_HOST = 0.0.0.0
OLLAMA_ORIGINS = *
进入到用户界面。
浏览器访问 web.chatboxai.com ,在设置中选择模型为"Ollama API"、"DeepSeek" 就可以了。
到此,整个过程就全部完成了,以后直接在web.chatboxai.com上就能和你本地的DeepSeek对话了。
其他说明
有些人在问:我直接用官方的不就好了吗?为啥还要自己来部署?
最近的新闻大家都关注了吧,DeepSeek服务器正在持续遭受非常强的攻击,很多时候无法给出回答。而本地部署后,就不怕这些了。此外,大模型需要的硬件资源非常大,像DeepSeek这种量级的,服务器费不是一笔小费用,深度推理,迟早是要收费或添加限制条件的。
现在不收费,是因为他被推到了一个高度上,但不可能一直烧钱的。
部署在本地,就可以完全免费了。
关于DeepSeek深度推理的出现,对我们的生活和工作有什么影响,相信大家最近都刷到不少相关的科普了,我就不用多赘述;总之就是大家真的要转变一些观念了,特别是教育行业~
- end -
长按二维码关注 对话框回复
T95280
免费获取本文分享的资源
通过网盘分享,资源经常会失效,所以通过回复关键词的方法,以便随时可以补链接。
让你的观点被更多人看见,本公众号接收教育信息化、实用软件、人工智能、办公技巧等文章、视频的投稿;请参考本公众号历史文章的风格撰写。