DeepSeek 太卡,不得整个本地的,让其他人卡去吧~~~

职场   其他   2025-02-07 11:27   福建  

DeepSeek 现在热度实在是太高,导致现在使用起来非常卡顿,体验感不好,一直回复稍后再试~

现在连 API 充值都停了,钱都不赚:
直接上热搜:
体验感这么差,不得整个本地的,今天我们就介绍使用开源的工具 Ollama 本地安装  DeepSeek,Ollama 是一个开源的本地大语言模型运行框架,目前在 Github 上斩获了 121k+ 的 Star:

Ollama 是一个开源的本地大语言模型运行框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。 

Ollama 支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。 
Ollama 提供对模型量化的支持,可以显著降低显存要求,使得在普通家用计算机上运行大型模型成为可能。
Ollama 支持多种流行的大型语言模型,包括但不限于 DeepSeek、

qwen、codegeex4、phi4、llama 等,我们可以根据自己的需求选择合适的模型进行本地运行。

Ollama 官方地址:https://ollama.com/
Github 开源地址:https://github.com/ollama/ollama
Ollama 入门教程:https://www.runoob.com/ollama/ollama-tutorial.html

安装使用
Ollama 支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。
Ollama 安装很简单,直接在官网 https://ollama.com/download 下载对应系统的安装包即可:
下载完成后,双击安装程序并按照提示完成安装。

验证安装

打开命令提示符或 PowerShell,输入以下命令验证安装是否成功:
ollama --version
如果显示版本号,则说明安装成功。

使用方法

Ollama 运行模型使用 ollama run 命令。

例如我们要运行 deepseek-coder 并与该模型对话可以使用以下命令:
ollama run deepseek-coder
如果该模型没安装,会先下载,如下所示:
安装过程有个问题,刚开始下载还挺快,后面如果速度变慢,可以直接 ctrl+d 断开,然后重新执行以上命令速度又变快了。
安装成功后,我们就可以开始对话了:
输入 /? 查看帮助:
>>> /? Available Commands:  /set            Set session variables  /show           Show model information  /load <model>   Load a session or model  /save <model>   Save your current session  /clear          Clear session context  /bye            Exit  /?, /help       Help for a command  /? shortcuts    Help for keyboard shortcuts
Use """ to begin a multi-line message.
输入 /bye 退出:
>>> /bye
很多支持的大模型可以通过官方 https://ollama.com/library 查找,然后点击具体模型,可以查看下载运行命令: 
另外,Ollama 提供了一个用于运行和管理模型的 REST API,以下是使用该 API 的示例
生成文本:
curl http://localhost:11434/api/generate -d '{  "model": "llama3.2",  "prompt":"Why is the sky blue?"}'
与模型聊天:
curl http://localhost:11434/api/chat -d '{  "model": "llama3.2",  "messages": [    { "role": "user", "content": "why is the sky blue?" }  ]}'




菜鸟教程
学的不仅是技术,更是梦想!
 最新文章