Anything LLM是一款由 Mintplex Labs 开发的开源、多功能的 AI 应用程序，旨在为用户提供一个全面且灵活的 AI 解决方案，能够将文档、网页输入其中，进行知识提取让大模型进行智能对话。
Anything LLM有两种运行方式： Desktop:安装方便，本机使用 Docker运行：安装略复杂，但是可以局域网共享，使用内网穿透后可以在网上共享。
下载安装Docker
Docker下载地址：https://www.docker.com/
Docker启动报错
wsl update failed: update failed: updating wsl: exit code: 4294967295: running WSL command wsl.exe C:\WINDOWS\System32\wsl.exe --update --web-download: ���: 0x80072f7d
exit status 0xffffffff ————————————————
设定WSL2，然后更新，完成后重启
wsl --set-default-version 2
wsl --update9
docker启动报错：running engine: waiting for the VM setup to be ready的解决方法
在win程序和功能那里，启动Hyper-V服务，确保虚拟机服务打开，重启电脑，再打开Docker就可以正常运行了。
Docker pull Anything LLM
全局科学上网：
v2rayN+Proxifer，下面这个是我用的，比较稳定，推荐： VPN服务商：https://justmysocks3.net/members/aff.php?aff=30763
在Docker中搜索并PULL这个anythingllm，注意，可能会有很多类似名字的，一定得是下图选中的那个mintplexlabs/anytingllm
Docker运行LLM
点击那个播放按钮，启动anythingllm这个Image
然后在Terminal中运行下面的代码，启动服务
# Run this in powershell terminal
$env:STORAGE_LOCATION="$HOME\Documents\anythingllm"; `
If(!(Test-Path $env:STORAGE_LOCATION)) {New-Item $env:STORAGE_LOCATION -ItemType Directory}; `
If(!(Test-Path "$env:STORAGE_LOCATION\.env")) {New-Item "$env:STORAGE_LOCATION\.env" -ItemType File}; `
docker run -d -p 3001:3001 `
--cap-add SYS_ADMIN `
-v "$env:STORAGE_LOCATION`:/app/server/storage" `
-v "$env:STORAGE_LOCATION\.env:/app/server/.env" `
-e STORAGE_DIR="/app/server/storage" `
mintplexlabs/anythingllm;
LM Studio启动模型
LM Studio的安装和使用请参阅前面的推文：LM Studio本地部署大模型，大模型so easy！
这次我使用的是最新的DeepSeek的模型，由于我的显卡只是一个RTX3060显卡12GB显存，试了试DeepSeek-R1-Distill-Qwen-32B实在是跑不动，DeepSeek R1 Distill (Qwen 7B)运行比较正常，能够进行一些简单的对话。
在LM Studio的开发者选项卡中，启动大模型的Server服务，如下图所示，在右侧会给出大模型调用的地址，这个地址需要填到Anything LLM当中。
常见问题
如果装载模型失败，请注意升级LM Studio还有对应的Runtime，如下图所示，在下面这个界面里面升级。
登录Anything LLM
在Docker中启动Anything LLM服务+完成LM Studio的大模型配置和网络服务启动后，就可以使用网页登录Anything LLM
本地登录
在浏览器中打开本地登录地址即可登录Anything LLM，本地登录地址：http://localhost:3001/
首次登录需要进行一些配置，大模型服务提供商选择LM Studio，然后把前面LM Studio中大模型服务的地址填到下面的对话框里面。
其他设置默认即可。配置完成后就可以进入Anything LLM的对话界面，开始进行大模型对话：
局域网登录
查看一下部署了Docker的这个电脑的IP地址，确保其他电脑和这个在一个局域网中：
在局域网内另外一台电脑，使用IP地址替换localhost，然后登录即可。
外网访问
可以给局域网登陆的大模型弄一个内网穿透，chmlfrp这个工具非常好用，免费，我用了一段时间了，还挺好用的。网上教程很多，不再赘述。
内网穿透工具：https://chmlfrp.cn/
参考文献
https://zhuanlan.zhihu.com/p/441965046 https://hub.docker.com/r/mintplexlabs/anythingllm https://blog.csdn.net/MC_chaoji/article/details/135036174
