一个基于本地大语言模型(LLMs)的 RAG(Retrieval-Augmented Generation)LLM 辅助工具
源代码
http://www.gitpp.com/qin-ai/lumos-ai
我们收集整理100个开源AI agent,了解世界最新agent动态
智能Agent Lumos 项目介绍
项目名称:Lumos
项目概述:
Lumos 是一个创新的 Chrome 扩展,它利用本地大语言模型(LLMs)提供 Retrieval-Augmented Generation(RAG)功能,旨在增强用户的网页浏览体验。通过集成先进的自然语言处理技术,Lumos 能够帮助用户总结长文、提取关键信息、回答特定问题,并对网页内容进行智能交互。
主要功能:
内容总结:对问题跟踪网站、论坛、社交媒体上的长线程进行简洁明了的总结。
新闻提炼:快速提取新闻文章的核心要点。
评论分析:在商业和产品页面中,针对用户评论提出相关问题或提炼关键意见。
技术文档问答:对长篇技术文档进行智能问答,帮助用户快速找到所需信息。
技术背景与依赖:
Ollama 支持:Lumos 由 Ollama 提供底层技术支持,所有推理过程均在本地完成,确保数据隐私和安全。
本地服务器需求:由于 Chrome 扩展的安全限制,Lumos 需要一个本地服务器来运行 LLM。项目受 Web LLM 项目 和 LangChain 的启发,实现了高效的本地 LLM 集成。
目录结构详解:
根目录:包含项目的基础配置文件,如
manifest.json
(Chrome 扩展配置)、package.json
(项目依赖管理)、tsconfig.json
(TypeScript 配置)等。.github/workflows
:定义了 CI/CD 工作流,如ci.yml
,用于自动化测试和部署。src
:源代码核心目录,包括App.tsx
(主应用组件)、contentConfig.ts
(内容配置)、options.tsx
(扩展选项页面)等,以及多个子目录组织不同功能模块。__tests__
:测试目录,包含对项目各部分的单元测试,确保代码质量。docs
:文档目录,提供项目使用指南、配置说明等。screenshots
:存放项目截图,用于展示功能和使用效果。
Ollama 服务器配置指南:
安装 Ollama:从 Ollama 官网 下载并安装 Ollama 及其 CLI 工具。
拉取模型镜像:使用
ollama pull llama2
命令获取所需的语言模型。启动服务器:执行
OLLAMA_ORIGINS=chrome-extension://* ollama serve
启动服务器,确保设置OLLAMA_ORIGINS
环境变量以允许 Chrome 扩展请求。macOS 环境变量:使用
launchctl setenv OLLAMA_ORIGINS "chrome-extension://*"
设置环境变量。Docker 容器部署:提供 Docker 运行选项,使用
docker run
命令启动容器,并设置相应的环境变量。
Chrome 扩展开发命令:
npm test
:启动交互式测试运行器,方便开发过程中进行单元测试。npm run lint
:对代码进行eslint
和prettier
检查,确保代码风格一致。npm run build
:构建生产版本,优化性能并输出到dist
目录,准备部署。
安装指南:
用户可以通过 Chrome 的“加载已解压的扩展程序”功能安装 Lumos。具体步骤可参考 Chrome 扩展开发者文档,简单快捷地将 Lumos 集成到 Chrome 浏览器中。
Lumos 项目以其强大的本地 LLM 支持和灵活的 Chrome 扩展形式,为用户提供了一个高效、安全的网页内容交互工具,极大地提升了信息获取和处理的效率。
一个基于本地大语言模型(LLMs)的 RAG(Retrieval-Augmented Generation)LLM 辅助工具
源代码
http://www.gitpp.com/qin-ai/lumos-ai