一键部署2000多种AI大模型!不挑环境、不吃配置,神了!

2024-12-05 19:09   广东  

在数字化的浪潮中,Ollama如同一位技术界的“魔法师”,挥舞着它的魔杖——一行简单的命令,就能唤醒沉睡的代码巨人,一键本地部署2000+大模型!今天,让我们揭开Ollama的神秘面纱,一探究竟。


一、Ollama:AI“魔法师”

Ollama,它是一个轻量级、可扩展的大模型框架,就像是一位能够召唤各种大语言模型的魔法师。它不仅支持Windows、Linux、MacOS这些主流操作系统,还拥有一个庞大的模型库,包括Qwen、Llama等2000+大语言模型。

你只需轻轻一念咒语(输入命令),就能让这些模型为你所用,是不是很酷?

跨平台支持  

Ollama就像是那个传说中的“万能钥匙”,无论你是在Windows的城堡、Linux的森林还是MacOS的岛上,都能轻松打开AI的大门。

丰富的模型库

提供了丰富的模型库,就像是给你一个巨大的“魔法书库”,里面藏有各种强大的魔法书(模型),你可以根据需要随时“借阅”。

自定义模型参数

支持用户上传自己的模型,就像是给你一个“魔杖”,你可以用它来调整魔法的效果,让魔法更符合你的心意。

多GPU并行推理加速

在多卡环境下,可以设置环境变量来指定特定GPU。这就像是给你的魔法书加上“加速咒”,让你的魔法施展得更快。

二、安装:简单到“真·一键搞定”

1、Windows安装

直接从下载页面下载相对应系统的安装程序,Windows安装程序选择Windows的安装包,点击“Download for Windows(Preview)”。

下载好以后,双击安装包,之后一直点击“install”安装即可。安装完成之后,打开一个cmd命令窗口,输入“ollama”命令,如果显示ollama相关的信息就证明安装已经成功了,如下图:


2、Mac安装

从下载页面,下载苹果系统相对应的安装程序,即点击“Download for Mac”。

下载好后,双击安装包,点击install”,等待Ollama自动安装


3、Linux安装

在Linux系统上,可以通过脚本安装或源码编译的方式来安装Ollama,下面介绍主流的脚本安装方法。

脚本安装

Ollama提供了一键安装脚本,可以快速在Linux系统上安装Ollama,打开终端,执行以下命令下载安装脚本:

curl -fsSL https://ollama.com/install.sh  | sh

等待安装完成。安装脚本会自动下载所需的组件,并完成Ollama的安装与配置。安装完成后,可以通过以下命令启动Ollama:

ollama serve


三、命令参数:你的AI助手

以下是Ollama使用常见的指令:  

ollama serve         #启动ollama  
ollama create        #从模型文件创建模型  
ollama show          #显示模型信息  
ollama run           #运行模型  
ollama pull          #从注册表中拉取模型  
ollama push          #将模型推送到注册表  
ollama list          #列出模型  
ollama cp            #复制模型  
ollama rm            #删除模型  
ollama help          #获取有关任何命令的帮助信息

四、设置自定义模型下载路径

默认情况下,ollama模型的存储目录如下:  

macOS: `~/.ollama/models` 

Linux: `/usr/share/ollama/.ollama/models`  

Windows: `C:\Users\<username>\.ollama\models`

Windows更改Ollama模型存放位置

在Windows系统中,若要更改Ollama模型的存放位置,可以按照以下步骤操作:

  • 右键点击“此电脑”或“我的电脑”,选择“属性”。

  • 在系统窗口中选择“高级系统设置”。

  • 在系统属性窗口中点击“环境变量”按钮。

  • 在环境变量窗口中,点击“新建”创建一个新的系统变量或用户变量。

  • 变量名:OLLAMA_MODELS

  • 变量值:输入你希望设置的新模型存放路径,例如:E:\Ollama\Models

  • 点击“确定”保存设置。

  • 重启Ollama相关服务,使新的路径生效。


Linux/Mac更改Ollama模型存放位置

在Linux或Mac系统中,更改Ollama模型存放位置的步骤如下:

  • 打开终端,创建一个新的目录作为模型存放位置,例如:`mkdir -p /path/to/your/new/ollama/models`

  • 设置环境变量:在Linux系统中,可以通过编辑~/.bashrc或~/.bash_profile文件(对于bash shell)或~/.zshrc文件(对于zsh shell)。

  • 在Mac系统中,可以通过编辑~/.bash_profile或~/.zshrc文件。

  • 在终端中运行以下命令:`source ~/.bashrc`(或者source ~/.bash_profile,取决于你编辑的文件)

  • 重启Ollama相关服务,使新的路径生效。


五、导入huggingface模型

最新版Ollama开始支持从Huggingface Hub上直接拉取各种模型,包括社区创建的GGUF量化模型。

用户可以通过简单的命令行指令快速运行这些模型,可以使用如下命令:

ollama run hf.co/{username}/{repository}

要选择不同的量化方案,只需在命令中添加一个标签:

ollama run hf.co/{username}/{repository}:{quantization}

例如:量化名称不区分大小写
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M  
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

还可以直接使用完整的文件名作为标签:  
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

了解更多详情:

Ollama下载:

https://ollama.com/download 

Ollama官方GitHub源代码仓库:

https://github.com/ollama/ollama/

技术的进步总是为了更好地服务于人类。让我们拥抱变革,用AI创造出更多优秀的内容。我们下期再见,Respect!

Glen
关注我,免费领AI整合包合集。我是Glen,原鹅厂、字节高级产品经理,现AI公司创始人。我的使命是:让一部分人,看见AI并连接。分享人工智能、互联网、商业、职场等内容,管理精力,提升认知。种一棵树最好的时机是十年前,其次是现在!
 最新文章