如何在你本地Ollama安装大模型

教育   2024-10-21 03:37   印度  

`Ollama`是一个开源的大语言模型(LLM)服务工具,它允许用户在本地PC环境快速实验、管理和部署大型语言模型。它支持多种流行的开源大型语言模型,如 `Llama 3.1`、`Phi 3`、`Qwen 2`、`GLM 4`等,并且可以通过命令行界面轻松下载、运行和管理这些模型。

`Ollama`的出现是为了降低使用大型语言模型的门槛,是让大型语言模型更加普及和易于访问。一言以蔽之就是`Ollama让使用模型更简单`。无论是`CPU`或是`GPU`都可以,算力高的话推理速度更快,算力不足的话推理的慢,而且容易胡说八道。

【安装Ollama】

通过迅雷下载很快https://ollama.com/

【下载大模型】

我下载千文为例 ollama run qwen

安装成功测试下,等你下次进来的时候,只需要输入

ollama run qwen

【测试对话界面】

不过对话界面是需要web服务器的,在Windows环境下就需要安装docker

下载以后直接安装就是了,很简单,安装以后需要cmd输入Docker 看看是否安装好

不过启动失败,我在安装的时候遇到另外问题,这么解决的

https://blog.csdn.net/qq_40296909/article/details/139069438

解决以后得界面

装一个web前端界面】

一键安装,具体说明地址https://github.com/open-webui/open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

同样在黑窗口聊天,下载起来很慢,需要梯子

安装完了以后访问 http://localhost:3000/进来以后随便注册一个账号就开始使用。随便设置用户名 多多,密码duoduo,邮箱dcxxxx@sina.com

【安装大模型】

世界上狠多大模型,不过那些模型怎么样,可以参考下,每2个月就会对大模型做综合评审,腾讯的大模型,虽然起步很晚,不过进步特别快,由于下载还是太慢,明天给大家体验

 https://www.superclueai.com/





数据产品之美
基金分析,LOF基金套利,基金实时估值
 最新文章