大模型时代,网络上的大模型固然好用,但是付费、隐私泄露等问题也是可能的问题,尝试一下本地运行的大模型!
电脑安装WSL并配置Ollama安装环境
检查安装系统需求
打开CMD输入winver,查看系统版本。
对于 x64 系统:版本 1903 或更高版本,内部版本为 18362.1049 或更高版本。 对于 ARM64 系统:版本 2004 或更高版本,内部版本为 19041 或更高版本。
对于win11的新版系统可能能直接安装,我这win10系统自动安装不成功,需要手动安装
自动安装代码:
wsl --install
手动安装,我是win10系统,这个成功运行了:
dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart
启动功能
更新WSL
wsl.exe --update
将WSL2设置为默认版本
打开 PowerShell,然后在安装新的 Linux 发行版时运行以下命令,将 WSL 2 设置为默认版本:
wsl --set-default-version 2
下载LINUX分发版
网址:https://apps.microsoft.com/detail/9pn20msr04dw?rtc=1&hl=zh-cn&gl=CN
下载完之后,右击“以管理员身份运行”:弹窗,点击运行。
下载中,比较慢,等一会……
弹出这个,让你输账号密码,输入账号后有账号名显示,密码没有任何显示,不要怀疑,你确实输入进去了!我试了好几次,还以为电脑卡了,后来发现,输密码的时候就是不变:
更新系统环境
下面两行代码一行行的输入运行,等安装:
sudo apt update
sudo apt upgrade -y
安装Ollama:
curl -fsSL https://ollama.com/install.sh | sh
检查Ollama是否运行,浏览器输入:
http://localhost:11434
由于大模型文件较大,默认占用C盘空间,最好是提前修改一下,在系统环境变量里面新建个环境变量
变量名:OLLAMA_MODELS
变量值:D:\ollama\models
安装Ollama大模型
Ollama中提供了很大模型,可以在以下网站中找到: 网址:https://ollama.com/library
在这我选择了阿里的千问7B,看起来这个是更新的最新的,数据量4.4GB,也还行,不算太大,我这电脑还能撑得住,安来试试。
使用下面的代码,直接下载安装并运行千问大模型:
ollama run qwen2
注意,上面的代码是要复制到Ubuntu的Powershell命令行控制台中的:
但是控制台里面对话很不方便,奇奇怪怪的,接下来安装Docker,以便在浏览器操作。
安装Docker:
Docker下载地址:https://www.docker.com/
再切到Python的Anaconda PowerShell里面,输入下面的代码,自动安装:
pip install open-webui
折腾了一通,反正我这只是控制台运行起来了,老慢了,没啥使用价值,放弃了。
参考文献
使用Ollama在本地部署AI大语言模型(类似GPT) https://learn.microsoft.com/zh-cn/windows/wsl/install-manual 我彻底替换了ChatGPT,AI果然没有护城河 本地部署AI大模型三步走(Ollama+通义千问) https://docs.openwebui.com/getting-started/