许多深度学习的大模型都是开源的,这意味着如果你拥有一台配置不错的电脑,你完全可以在本地安装并运行这些大模型。鉴于此,我决定记录下自己在一台配备了GeForce RTX 2060 Super GPU的电脑上安装大模型的全过程,希望能帮助到有类似需求的朋友们,让你们在这一过程中少走一些弯路。以下是具体的步骤:
1、下载ollama,并安装它。
下载完成后,双击下载的安装程序,点击Install进行安装。安装完成没有提示,我们打开一个终端,本文以CMD为例,现在Ollama已经安装完了。在cmd窗口输入ollama,即可了解常用的Ollama命令。
2、在命令行输入:
ollama run qwen2.5
等待安装千问大模型,本次我安装的千问2.5版本。
3、使用大模型
大模型的能力很强,比如文心一言、通义千问、chatgpt等等。
而这次选择本地安装大模型的目的,是为了在本地搭建一个翻译器,把中文翻译为英文。
好像我的电脑配置不行啊,明显有卡顿。
题外话
我们平常在自学编程的时候,可以去借助大模型去学习编程,这样的做法是效率最高的。现在自学编程的难度比以前要低了很多。