华泰金工 | 大模型本地部署手册

为了提高运算效率和推理质量，LM Studio支持手动调整参数，包括高级参数设置和推理参数设置，两者均可以在模型对话框的右侧设置页面以手动输入的方式调整。具体参数及参数含义如下表所示。

LM Studio左侧工具栏的Playground tab提供了与多模型同时对话的途径，具体使用步骤与单模型对话类似：

1. 加载多个模型：在最上方下拉按钮中选择想要同时加载的多个模型（需确保主机内存充足）；

2. 开始对话：右下方对话栏中，输入问题后，多个模型将按顺序答复，便于对比。

LM Studio交互方式：API接口

与Ollama类似，LM Studio也为用户提供了本地API接口，其中发送请求和接收回复的形式与OpenAI API形式相同，使用时仅需将代码中用到OpenAI url处指向localhost:PORT即可。具体步骤如下：

1. 打开LM Studio中的Local Server tab，下拉菜单选定要运行的模型，选择Start Server（要关闭服务器则选择Stop Server）；

2. 使用该提供的API接口示例代码如下（PORT可在左侧“Server Port”处查看）；

3. 界面左上方可观察显存与CPU占用情况，可视机器负载情况更换模型；

4. 通过“Embedding Model Settings”菜单，可选择并运行文本嵌入模型，通过POST/v1/embeddings接口进行使用。

仅含前端的对话式网页应用：ChatGPT Next Web

ChatGPT Next Web是基于 OpenAI API 的对话式网页应用，支持 GPT3，GPT4 & Gemini Pro模型。ChatGPT Next Web提供轻量化（~5MB）的跨平台客户端（Linux/Windows/MacOS）、完备的Markdown支持（LaTeX公式、Mermaid流程图等）、精心设计的UI（响应式设计，支持深色模式等）、极快的首屏加载速度（页面大小仅约100kb）。ChatGPT Next Web保证用户隐私安全，将所有数据保存在用户浏览器本地。ChatGPT Next Web具有预制角色功能（“面具”，即对模型提前设置好的角色设定，模型会以某种特定的方式/风格进行回应，方便创建、分享和调试个性化对话），海量的内置prompt列表，自动压缩上下文聊天记录（在节省Token的同时支持超长对话）。

ChatGPT Next Web部署

ChatGPT Next Web提供多平台的应用文件（Linux/Windows/MacOS），直接从官方Github仓库中下载即可（https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web）。如果需要将ChatGPT Next Web部署为服务器形式向外界暴露端口，可以通过Vercel和Docker两种方式实现。

Vercel是一个面向现代Web应用程序的全球托管平台，它提供了一系列强大的功能，包括零配置部署、自动化构建和部署流程等。Vercel的目标是简化前端开发者的工作流程，让他们能够专注于编写代码，而不必过多关注部署和运维方面的问题。因此，对于特定项目而言，相比更常见的Docker部署，使用Vercel进行部署可以有效简化部署流程。

仅含后端的本地大模型运行库：llama.cpp

llama.cpp是一个用于大模型推理的C++库，主要利用C++重写了Llama的推理代码，将Meta开源大语言模型Llama进行量化，其最大的优点在于不需要GPU，在本地CPU上即可部署。

llama.cpp本地部署

llama.cpp的本地部署同样支持Windows、Linux和MacOS系统，但相比Linux和MacOS，llama.cpp在Windows 上的部署略繁琐。

部署步骤：

1. 下载llama.cpp

   git clone https://github.com/ggerganov/llama.cpp

2. 编译llama.cpp

    Linux和MacOS系统下的编译可在llama.cpp目录下直接输入make指令完成；对于Windows用户而言，需采用官方提供的软件w64devkit进行编译。下载最新版本的w64devkit.exe（https://github.com/skeeto/w64devkit/releases），安装并运行，之后输入以下指令完成编译：

   cd llama.cpp

   make

3. 下载llama.cpp支持的模型：llama.cpp支持转换的模型有PyTorch的.pth，huggingface的.safetensors，以及ggmlv3，此步骤下载需要的模型至llama.cpp的models目录下，例如git clone https://huggingface.co/4bit/Llama-2-7b-chat-hf ./models/Llama-2-7b-chat-hf

4. 转化为gguf格式（也可直接从huggingface下载gguf格式的模型，放在models目录下）：先通过指令pip install -r requirements.txt安装依赖，再通过以下指令转换模型：

   python convert.py ./models/Llama-2-7b-chat-hf --vocabtype spm``  ``params = Params(n_vocab=32000, n_embd=4096, n_mult=5504, n_layer=32, n_ctx=2048, n_ff=11008, n_head=32, n_head_kv=32, f_norm_eps=1e-05, f_rope_freq_base=None, f_rope_scale=None, ftype=None, path_model=PosixPath('models/Llama-2-7b-chat-hf'))``Loading vocab file 'models/Llama-2-7b-chat-hf/tokenizer.model', type 'spm'``...``Wrote models/Llama-2-7b-chat-hf/ggml-model-f16.ggu

5. 选择量化精度，执行模型量化：quantize指令提供各种精度的量化，执行指令时修改相应参数即可，例如：

   ./quantize ./models/Llama-2-7b-chat-hf/ggml-model-f16.gguf ./models/Llama-2-7b-chat-hf/ggml-model-q4_0.gguf Q4_0``   ``llama_model_quantize_internal: model size  = 12853.02 MB``llama_model_quantize_internal: quant size  =  3647.87 MB``llama_model_quantize_internal: hist: 0.036 0.015 0.025 0.039 0.056 0.076 0.096 0.112 0.118 0.112 0.096 0.077 0.056 0.039 0.025 0.021

6. 加载并启动模型：运行./main二进制文件即可

此外，llama-cpp-python提供了llama.cpp库的python绑定，相比于llama.cpp使用更加便捷，安装llama-cpp-python仅需运行指令pip install llama-cpp-python，并下载gguf格式的模型，具体操作与llama.cpp一致。其基本对话和Server调用的代码使用示例如下：

部署方案对比

本文尝试从多个维度对比Ollama、LM Studio、ChatGPT Next Web和llama.cpp这四种大模型本地部署方案。首先，从前后端是否存在的角度，Ollama和LM Studio属于集成运行环境，前端和后端兼备；ChatGPT Next Web是对话式网页应用，仅含前端；llama.cpp是基于C++的大模型运行库，仅含后端。

从用户体验角度看，Ollama因其开源特性和命令行界面，有一定的技术使用门槛，但通过赋予界面的额外操作，可有效降低因缺少图形界面而带来的使用难度；而LM Studio则通过其图形用户界面，为非技术用户提供了更友好的体验。ChatGPT Next Web作为纯粹的前端方案，强调了其界面的美观和丝滑交互体验，提供了极快的首屏加载速度和流式响应，支持 Markdown以及多国语言。而llama.cpp作为一个专注于性能优化的方案，尽管在易用性方面不如其他方案直观，却在技术社区和开发场景中受到高度评价。

在大模型兼容度方面，LM Studio和llama.cpp对非常用的开源大模型具有高度的兼容度，导入非常用模型操作简单便捷，仅限制模型格式为gguf；Ollama尽管支持非常用模型的导入，但需借助Modelfile实现，操作相对繁复；ChatGPT Next Web当前则不支持GPT3、GPT4及 Gemini Pro 模型之外的大模型导入。

在大模型定制性方面，Ollama具备高度自定义的能力，允许用户根据需求调整模型；LM Studio在定制性方面提供了平衡，既满足专业需求也考虑到用户友好度；llama.cpp支持大模型量化；ChatGPT Next Web在模型性能的定制上没有突出优势。在部署和安装方面，Ollama和ChatGPT Next Web在这一维度具有领先优势，前者部署便捷，且对硬件设备的需求较低，而后者支持一键安装且相比之下更轻量。

对于基于大模型的投研领域应用构建而言，对本地部署大模型附加一站式的应用框架可能是大模型投研应用的合理形态。从框架对应的理论来看，大模型应用框架可分为两类，一类是基于RAG（Retrieval-Augmented Generation，检索增强生成）的应用框架，包括Anything LLM和RAGFlow等；另一类则是专注于多智能体架构的应用框架，包括Dify、AutoGPT、AutoGen等。我们将以Anything LLM和Dify为例，分别对上述两类大模型应用框架展开介绍。

RAG应用框架：AnythingLLM

AnythingLLM是Mintplex Labs开发的一款可以与任何内容聊天的私人ChatGPT，是高效、可定制、开源的企业级文档聊天机器人解决方案。支持多种文档类型（PDF、TXT、DOCX等），具有对话和查询两种聊天模式。

AnythingLLM本地部署

AnythingLLM安装到本地有两种版本可供选择，一种是Docker版本，另一种是Desktop版本。Docker版本与Desktop版本功能存在差异，对比如下表。从对比结果上看，Desktop版AnythingLLM似乎功能更为受限。

由于Desktop直接下载程序文件即可安装，较为简单，以下将展示Docker版本的部署方案。在确保已安装Docker的前提下，于终端中输入docker pull mintplexlabs/anythingllm。在完成拉取最新的AnythingLLM镜像后，对于Windows系统而言，需以管理员权限在PowerShell中运行以下命令：

$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"; `
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; `

If(!(Test-Path"$env:STORAGE_LOCATION\.env")){New-Item"$env:STORAGE_LOCATION\.env" -ItemType File}; `
docker run -d -p 3001:3001 `
--cap-add SYS_ADMIN `
-v "$env:STORAGE_LOCATION`:/app/server/storage" `
-v "$env:STORAGE_LOCATION\.env:/app/server/.env" `
-e STORAGE_DIR="/app/server/storage" `
mintplexlabs/anythingllm;

如上述命令显示文件挂载失败，可在C:\Users\Admin\Documents\anythingllm文件夹中自行构建.env命令后重新运行上述命令。

在Linux或Mac系统下，需运行以下命令：

export STORAGE_LOCATION=$HOME/anythingllm && \

mkdir -p $STORAGE_LOCATION && \

touch "$STORAGE_LOCATION/.env" && \

docker run -d -p 3001:3001 \

--cap-add SYS_ADMIN \

-v ${STORAGE_LOCATION}:/app/server/storage \

-v ${STORAGE_LOCATION}/.env:/app/server/.env \

-e STORAGE_DIR="/app/server/storage" \

mintplexlabs/anythingllm

上述配置完成后，在网页端输入http://localhost:3001即可在访问本地AnythingLLM。该平台支持接入本地部署的Ollama、LM Studio等大模型集成运行环境，可根据实际需求完成接入。

AnythingLLM应用实例：私人知识库

AnythingLLM为用户提供了便捷的私人知识库构建途径，本文以此功能构建一个应用实例供读者参考。我们以AnythingLLM Desktop版为例，直接将80余篇华泰金工人工智能系列研究的PDF文件上传至文档库（My Documents）中，并将所有文档移动到当前工作区（Workspace），随后点击“Save and Embed”按钮，AnythingLLM将利用已设定的词嵌入模型将文档转为词向量存至向量数据库中。除聊天大模型为Ollama部署的Qwen2之外，其余均为默认配置：词嵌入模型为AnythingLLM Embedder，向量数据库为LanceDB。

向量数据库构建完毕后，意味着以华泰金工人工智能系列研究报告为主体的私人知识库搭建完成。我们可直接在对话框输入问题，大模型将以私人知识库为参考回答相关问题。例如下图中询问“请简要介绍华泰金工的GPT因子工厂2.0研究”，大模型能够相对简洁准确地将该篇研究进行总结并输出。

多智能体应用框架：Dify

相比于Anything LLM，Dify作为全流程覆盖的专业AI应用开发平台，更适合具备工程开发能力的专业用户，存在一定使用门槛。Dify界面结合了工作流、RAG、智能体、模型管理等丰富功能。核心功能主要包括以下几点：

1. 工作流（Workflow）：在画布上构建适用于大模型的AI工作流程；

2. 全面的模型支持：与数百种专有/开源大模型以及数十种推理提供商和自托管解决方案无缝集成，涵盖GPT系列、通义千问、ChatGLM以及任何与OpenAI API兼容的模型；

   
   

3. Prompt IDE：用于制作提示、比较模型性能以及向基于聊天的应用程序添加其他功能（如文本转语音）的直观界面；

4. 检索增强生成（RAG）：广泛的RAG功能，涵盖从文档摄入到检索的全流程，支持从PDF、PPT和其他常见文件中提取文本；

5. 智能体（Agent）：可基于LLM函数调用或ReAct提示框架定义智能体，并可为智能体添加设定或自定义工具。Dify为智能体提供了丰富的内置工具，如谷歌搜索、Stable Diffusion和WolframAlpha等；

6. LLMOps：随时间监视和分析应用程序日志和性能。可以根据生产数据和标注持续改进提示、数据集和模型；

7. API接口：所有Dify的功能都带有相应的API，因此可以轻松地将Dify集成到自己的业务逻辑中。

Dify本地部署

根据Dify官方文档，在部署Dify之前，请确保本地硬件满足最低系统要求：CPU >= 2 Core，RAM >= 4GB。部署Dify的通用方案是使用Docker进行部署，在运行安装命令之前，请确保主机上已安装Docker和Docker Compose。首先，使用git命令克隆Dify源代码至本地：git clone https://github.com/langgenius/dify.git；随后，依次执行以下命令：

1. 进入Dify 源代码的Docker目录

   cd dify/docker

2. 复制环境配置文件

   cp .env.example .env

3. 启动Docker容器

   docker compose up -d

4. 检查是否所有容器都正常运行

   docker compose ps

最后，在浏览器中输入http://localhost即可访问dify。

如果初始状态下设置管理员账户时，界面无法正常显示，且容器中postgres并未正常运行，可通过以下步骤解决：首先运行docker volume create --name=pgdata，接着在docker-compose.yaml文件中修改postgres db的volumes为pgdata:/var/lib/postgresql/data，并在文件尾部volumes中增加pgdata: external: true，最后重新部署即可（顺序运行docker compose down与docker compose up -d两项命令）。

Dify同样支持接入Ollama，仅需在设置-模型供应商-Ollama中填入下图所示信息即可。

其中，基础 URL通常填写http://<your-ollama-endpoint-domain>:11434（需填写可访问到的Ollama服务地址）；若Dify为Docker部署，建议填写局域网IP地址，如：http://192.168.1.100:11434 或 Docker宿主机IP地址（宿主机IP可通过在终端输入ping host.docker.internal获取），如：http://172.17.0.1:11434；若为本地源码部署，可填写 http://localhost:11434。

Dify应用实例：翻译助手工作流

Dify为用户提供了海量的应用模板支持，在构建应用时，可直接从模板中构建，大大降低了应用构建难度。下图为Dify提供的部分应用模板展示。

我们基于“Book Translation”应用模板构建一个简单的翻译助手应用。对于该工作流，如下图所示，首先利用一个代码（CODE）节点将输入文本切分成块，以保证大模型的翻译质量，随后将文本块送入迭代（ITERATION）节点进行循环翻译，每一次翻译均需经历4步处理，即识别术语（IDENTIFY TERMS）→首次翻译（1ST TRANSLATION）→问题（PROBLEMS）→二次翻译（2ND TRANSLATION），最后利用模板（TEMPLATE）节点将翻译内容汇总，以完成翻译任务。

我们将华泰金工前期报告《Ten Points to Watch for CSI A500》（20240911）第一段摘要输入该翻译助手，经上述工作流后可直接获得中文翻译结果，如下图所示。整体翻译效果良好，但仍有提升空间，翻译效果可能主要取决于大模型本身能力及工作流架构设计。