(踩坑难用,别看了,只是留个记录)Ollama配置本地GPT

学术   2024-11-26 21:44   云南  

大模型时代,网络上的大模型固然好用,但是付费、隐私泄露等问题也是可能的问题,尝试一下本地运行的大模型!

电脑安装WSL并配置Ollama安装环境

检查安装系统需求

打开CMD输入winver,查看系统版本。

  • 对于 x64 系统:版本 1903 或更高版本,内部版本为 18362.1049 或更高版本。
  • 对于 ARM64 系统:版本 2004 或更高版本,内部版本为 19041 或更高版本。

对于win11的新版系统可能能直接安装,我这win10系统自动安装不成功,需要手动安装

自动安装代码:

wsl --install

手动安装,我是win10系统,这个成功运行了:

dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart

启动功能

更新WSL

wsl.exe --update

将WSL2设置为默认版本

打开 PowerShell,然后在安装新的 Linux 发行版时运行以下命令,将 WSL 2 设置为默认版本:

wsl --set-default-version 2

下载LINUX分发版

  • 网址:https://apps.microsoft.com/detail/9pn20msr04dw?rtc=1&hl=zh-cn&gl=CN

下载完之后,右击“以管理员身份运行”:弹窗,点击运行。

以管理员身份运行,运行

下载中,比较慢,等一会……

等待

弹出这个,让你输账号密码,输入账号后有账号名显示,密码没有任何显示,不要怀疑,你确实输入进去了!我试了好几次,还以为电脑卡了,后来发现,输密码的时候就是不变:

输入密码后没有任何变化,别管,你就输入就是了

更新系统环境

下面两行代码一行行的输入运行,等安装:

sudo apt update
sudo apt upgrade -y

安装Ollama:

curl -fsSL https://ollama.com/install.sh | sh

检查Ollama是否运行,浏览器输入:

http://localhost:11434

由于大模型文件较大,默认占用C盘空间,最好是提前修改一下,在系统环境变量里面新建个环境变量

变量名:OLLAMA_MODELS  
变量值:D:\ollama\models
修改环境变量,把Ollama的大模型安装目录修改

安装Ollama大模型

  • Ollama中提供了很大模型,可以在以下网站中找到:
    • 网址:https://ollama.com/library

在这我选择了阿里的千问7B,看起来这个是更新的最新的,数据量4.4GB,也还行,不算太大,我这电脑还能撑得住,安来试试。

选择模型后,可以直接复制安装代码

使用下面的代码,直接下载安装并运行千问大模型:

ollama run qwen2

注意,上面的代码是要复制到Ubuntu的Powershell命令行控制台中的:

复制安装代码并运行
前面下载的很快,4.4GB几秒就完了,但是最后的一点越来越慢
安装完之后,就可以在控制台里面对话了

但是控制台里面对话很不方便,奇奇怪怪的,接下来安装Docker,以便在浏览器操作。

安装Docker:

  • Docker下载地址:https://www.docker.com/
下载安装Docker

再切到Python的Anaconda PowerShell里面,输入下面的代码,自动安装:

pip install open-webui

折腾了一通,反正我这只是控制台运行起来了,老慢了,没啥使用价值,放弃了。

参考文献

  1. 使用Ollama在本地部署AI大语言模型(类似GPT)
  2. https://learn.microsoft.com/zh-cn/windows/wsl/install-manual
  3. 我彻底替换了ChatGPT,AI果然没有护城河
  4. 本地部署AI大模型三步走(Ollama+通义千问)
  5. https://docs.openwebui.com/getting-started/

走天涯徐小洋地理数据科学
一个爱生活的地理土博,分享GIS、遥感、空间分析、R语言、景观生态等地理数据科学实操教程、经典文献、数据资源
 最新文章