QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。
任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。
目前已支持格式: PDF(pdf)，Word(docx)，PPT(pptx)，XLS(xlsx)，Markdown(md)，电子邮件(eml)，TXT(txt)，图片(jpg，jpeg，png)，CSV(csv)，网页链接(html)
数据安全，支持全程拔网线安装使用。 支持跨语种问答，中英文问答随意切换，无所谓文件是什么语种。 支持海量数据问答，两阶段向量排序，解决了大规模数据检索退化的问题，数据越多，效果越好。 高性能生产级系统，可直接部署企业应用。 易用性，无需繁琐的配置，一键安装部署，拿来就用。 支持选择多知识库问答。 有一个最重要的原因，它可以选择多个知识库同时问答，而这点是AnythingLLM或其它知识库做不到的。
3. 原理和架构 - Rerank
如果是Windows系统，则需要安装Ubuntu 20.04以上版本，确保有WSL。以及GEFORCE EXPERIENCE 535.104+ (如果使用GPU)
git clone -b qanything-python-v1.3.1 https://github.com/netease-youdao/QAnything.git
cd QAnything
pip install -e .
注意，由于在本地部署QAnything，同时还需要配置大模型。故请注意自己的电脑配置：
在Windows WSL或Linux环境下运行3B大模型（MiniChat-2-3B）要求显存>=10GB
bash scripts/run_for_3B_in_Linux_or_WSL.sh
在Windows WSL或Linux环境下运行7B大模型（自研Qwen-7B-QAnything）要求显存>=24GB
bash scripts/run_for_7B_in_Linux_or_WSL.sh
在Windows WSL或Linux环境下运行Openai API，使用GPU
bash scripts/run_for_openai_api_with_cpu_in_Linux_or_WSL.sh
git clone https://github.com/netease-youdao/QAnything.git
进入项目根目录执行启动脚本
cd QAnything
bash run.sh # 默认在0号GPU上启动
前端页面
运行成功后，即可在浏览器输入以下地址进行体验。
前端地址: http://your_host:5052/qanything/
同时，QAnything还支持API调用，具体请参考官方文档：
QAnything/docs/API.md at master · netease-youdao/QAnything · GitHub
关键点：
Windows系统一定要配置Ubuntu双系统，确保WSL/WSL2能够正常运行。这对于Windows系统确实不友好，是个大坑。希望以后能优化。
7. 总结
总的来说，QAnything是款不错的产品，开源支持本地部署，解决了知识库保密的痛点，同时在使用体验上，不输目前几款主流LLM+知识库解决方案。
本地知识库+LLM的解决方案已经已经被行业确定为未来的发展方向了，不管是模型厂商还是应用厂商，未来都会布局此类服务。因为知识是资源，是核心，谁有知识，谁就能在商业市场上抢占先机。
期待未来有更好的解决方案，使企业/个人的知识在大模型的加持下，更容易得到应用。
长
按
关
注
AI技术应用派
ID : AI_Supply_Station
一起探索AIGC的实践
