`Ollama`是一个开源的大语言模型(LLM)服务工具,它允许用户在本地PC环境快速实验、管理和部署大型语言模型。它支持多种流行的开源大型语言模型,如 `Llama 3.1`、`Phi 3`、`Qwen 2`、`GLM 4`等,并且可以通过命令行界面轻松下载、运行和管理这些模型。
`Ollama`的出现是为了降低使用大型语言模型的门槛,是让大型语言模型更加普及和易于访问。一言以蔽之就是`Ollama让使用模型更简单`。无论是`CPU`或是`GPU`都可以,算力高的话推理速度更快,算力不足的话推理的慢,而且容易胡说八道。
【安装Ollama】
通过迅雷下载很快https://ollama.com/
【下载大模型】
我下载千文为例 ollama run qwen
安装成功测试下,等你下次进来的时候,只需要输入
ollama run qwen
【测试对话界面】
不过对话界面是需要web服务器的,在Windows环境下就需要安装docker
下载以后直接安装就是了,很简单,安装以后需要cmd输入Docker 看看是否安装好
不过启动失败,我在安装的时候遇到另外问题,这么解决的
https://blog.csdn.net/qq_40296909/article/details/139069438
解决以后得界面
【安装一个web前端界面】
一键安装,具体说明地址https://github.com/open-webui/open-webui
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
同样在黑窗口聊天,下载起来很慢,需要梯子
安装完了以后访问 http://localhost:3000/进来以后随便注册一个账号就开始使用。随便设置用户名 多多,密码duoduo,邮箱dcxxxx@sina.com
【安装大模型】
世界上狠多大模型,不过那些模型怎么样,可以参考下,每2个月就会对大模型做综合评审,腾讯的大模型,虽然起步很晚,不过进步特别快,由于下载还是太慢,明天给大家体验
https://www.superclueai.com/