高效AI工具
12
ollama
现在已经有非常多的开源大模型，完全公开了模型的权重，可以免费部署到自己的电脑或者服务器中，比如接近GPT-4能力的通义千问开源大模型Qwen-2，以及智谱AI的GLM-4-9B模型，还有META的llama3模型。
但是如果直接下载这些模型，会发现我们自己的显卡不够用，因为这些大模型即使是9B参数，远小于ChatGPT的1750亿参数，在我们个人电脑上，显卡内存不超过14G都很难流畅运行，会出现一分钟回答只有几个字的慢吞吞的情况：
而能运行这类模型的显卡，类似一块 GeForce RTX 4060 Ti 16GB 显卡市场价超过 3000 元，这不是普通人能用得起的。
这时候我们就需要将模型“量化”，也就是将模型权重的有效数字减少，降低一点精度，换来运行的流畅度，而现在有一种不需要编程的方式，就是使用ollama这个大模型管理工具，它能很方便地让你轻松使用开源大模型。
首先我们要去ollama官网https://ollama.com/，下载并安装这个软件，一路确认到安装完毕。
然后我们打开命令行（windows下点击左下角搜索cmd）
然后在打开的界面输入命令即可将大模型下载到电脑中，比如我们想下载通义千问7B参数的模型，输入：ollama run qwen2，模型就会自动下载，下载完毕之后就可以聊天了：
在官网https://ollama.com/library这个地址中，可以查阅所有可下载的模型：
点击进去可以查看下载模型需要的命令以及模型的介绍：
需要注意的是，这些模型都非常大，一般下载下来都需要1G以上的内存，平均在3-4G，而且默认安装在C盘。我们在命令行输入ollama list可以看到我们安装了哪些模型：
如果希望模型安装在其他盘，需要打开系统环境变量设置ollama下载模型的位置。新增一个变量为OLLAMA_MODELS，设置为D:\Ollama，这样ollama下载模型就会放到D盘Ollama文件夹下面，不会占用C盘存储空间。
OK，以上就是如何在电脑上安装开源大模型的介绍，相信未来开源大模型会越来越强，每个人都有一个独一无二的聪明AI助手的时代很快会来临！
关注点宽学园
每周持续更新AI系列课程
小U带你进入人工智能世界
我们下节课见啦
扫码关注【AI丽塔】获取最新资讯
点击“阅读原文”，登录官网www.digquant.com。
