大家新年好呀!祝大家新年快乐,科研顺利!!
过年我们也没闲着,大年初一就来给大家更新一篇教程,零基础小白也完全没问题!
想象一下:
在春运的火车上,你可能打开了Zotero想读几篇文献。然而,过了5分钟,你并没有读懂,想和大语言模型老师交流一下,却又没网。好吧!睡觉吧!!
以后就不用担心了,因为Deepseek R1登场了!!
想必这几天Deepseek R1取得的成功已经在各位的手机中刷屏了。它在许多方面追平了OpenAI o1!更重要的是,它轻量!!它还开源!!!
原本Meta开源的Llama3.3需要43G,而蒸馏出来最小的DeepSeek R1 1.5B只需要1.1G!!这意味着可以直接把它部署在我空间不足的小破笔记本上!
话不多说,如题所见,我们直接开始教大家在本地部署Deepseek R1!零基础也完全没问题!
第一步:部署Deepseek R1
1.首先,搜索引擎搜索ollama,在官网上下载并安装到电脑上
2.安装完毕后,运行cmd终端。可以输入以下命令查看ollama是否安装成功。成功的话,会显示ollama的版本。
ollama -v
3.接着就可以用ollama下载部署deepseek啦。
ollama run deepseek-r1:7b
我这里安装的是7b,我的显卡是笔记本版的3070ti,显存是8G。运行毫无压力,反应速度非常快。仅供大家参考!
当然,你的配置更好或者更差的话也可以选择其他的模型。据说1.5b模型,4G显存就能跑;7b、8b的模型,8G显存就能跑;14b 模型,12GB显存能跑;32b 模型,24GB显存能跑:
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b
下载完后,发现出现了“>>>”,输入文字就可以对话啦!
ctrl
+D
可以退出对话。
再次输入ollama run deepseek-r1:7b
就可以重新激活进行对话。
想使用更多指令,可以直接在中输入ollama -h
,或者查阅ollama的github。
4.我们的目的是把deepseek接入Zotero,所以我们现在需要找到它的api。
在终端输入:
ollama serve
找到了端口是11434
所以,我的API就是:
http://localhost:11434(端口号)
只要本地启动了ollama服务,我们就可以用这个API在内网任意地调用我们部署的大模型啦。比如写进VSCode的Cline插件中辅助写代码~
第二步:将部署好的Deepseek接入Zotero
1.安装Zotero的GPT插件。现在Zotero中已经有GPT插件了,使用比较广泛的插件是Awesome GPT。可以在“Zotero中文社区”中搜到它,这里的下载安装就不细说咯
2.安装好后,在Zotero中按ctrl
+/
就可以召唤出它。
3.接着就是在召唤的界面中填入你的模型信息。
首先,在插件中填入API并按下回车:
/api http://localhost:11434(端口号)
接着,在插件中输入密钥。因为我们这里没有密钥,所以直接敲一个空格按回车即可:
/secretKey
接下来指定要用的模型:
/model deepseek-r1:7b(输入你的模型型号)
最后根据deepseek r1的官方README的推荐,把temperature设置在0.5~0.7(推荐0.6)。
/temperature 0.6
这就配置好啦!
4.最后,可以在插件中查看配置的信息:
/report
测试一下功能
我输入这两篇文章的创新点是什么?
,并且选中了两篇论文,点击AskPDF。
非常迅速地得到了输出结果:
芜湖~~爽!