开源:一个基于本地大语言模型(LLMs)的 RAG 辅助工具

文摘   2025-01-17 12:03   北京  

一个基于本地大语言模型(LLMs)的 RAG(Retrieval-Augmented Generation)LLM 辅助工具

源代码

http://www.gitpp.com/qin-ai/lumos-ai


我们收集整理100个开源AI agent,了解世界最新agent动态


智能Agent   Lumos 项目介绍

项目名称:Lumos

项目概述
Lumos 是一个创新的 Chrome 扩展,它利用本地大语言模型(LLMs)提供 Retrieval-Augmented Generation(RAG)功能,旨在增强用户的网页浏览体验。通过集成先进的自然语言处理技术,Lumos 能够帮助用户总结长文、提取关键信息、回答特定问题,并对网页内容进行智能交互。

主要功能

  • 内容总结:对问题跟踪网站、论坛、社交媒体上的长线程进行简洁明了的总结。

  • 新闻提炼:快速提取新闻文章的核心要点。

  • 评论分析:在商业和产品页面中,针对用户评论提出相关问题或提炼关键意见。

  • 技术文档问答:对长篇技术文档进行智能问答,帮助用户快速找到所需信息。

技术背景与依赖

  • Ollama 支持:Lumos 由 Ollama 提供底层技术支持,所有推理过程均在本地完成,确保数据隐私和安全。

  • 本地服务器需求:由于 Chrome 扩展的安全限制,Lumos 需要一个本地服务器来运行 LLM。项目受 Web LLM 项目 和 LangChain 的启发,实现了高效的本地 LLM 集成。

目录结构详解

  • 根目录:包含项目的基础配置文件,如 manifest.json(Chrome 扩展配置)、package.json(项目依赖管理)、tsconfig.json(TypeScript 配置)等。

  • .github/workflows:定义了 CI/CD 工作流,如 ci.yml,用于自动化测试和部署。

  • src:源代码核心目录,包括 App.tsx(主应用组件)、contentConfig.ts(内容配置)、options.tsx(扩展选项页面)等,以及多个子目录组织不同功能模块。

  • __tests__:测试目录,包含对项目各部分的单元测试,确保代码质量。

  • docs:文档目录,提供项目使用指南、配置说明等。

  • screenshots:存放项目截图,用于展示功能和使用效果。

Ollama 服务器配置指南

  1. 安装 Ollama:从 Ollama 官网 下载并安装 Ollama 及其 CLI 工具。

  2. 拉取模型镜像:使用 ollama pull llama2 命令获取所需的语言模型。

  3. 启动服务器:执行 OLLAMA_ORIGINS=chrome-extension://* ollama serve 启动服务器,确保设置 OLLAMA_ORIGINS 环境变量以允许 Chrome 扩展请求。

  4. macOS 环境变量:使用 launchctl setenv OLLAMA_ORIGINS "chrome-extension://*" 设置环境变量。

  5. Docker 容器部署:提供 Docker 运行选项,使用 docker run 命令启动容器,并设置相应的环境变量。

Chrome 扩展开发命令

  • npm test:启动交互式测试运行器,方便开发过程中进行单元测试。

  • npm run lint:对代码进行 eslint 和 prettier 检查,确保代码风格一致。

  • npm run build:构建生产版本,优化性能并输出到 dist 目录,准备部署。

安装指南
用户可以通过 Chrome 的“加载已解压的扩展程序”功能安装 Lumos。具体步骤可参考 Chrome 扩展开发者文档,简单快捷地将 Lumos 集成到 Chrome 浏览器中。

Lumos 项目以其强大的本地 LLM 支持和灵活的 Chrome 扩展形式,为用户提供了一个高效、安全的网页内容交互工具,极大地提升了信息获取和处理的效率。



一个基于本地大语言模型(LLMs)的 RAG(Retrieval-Augmented Generation)LLM 辅助工具

源代码

http://www.gitpp.com/qin-ai/lumos-ai


GitHubFun网站
GitHub上有趣的项目介绍
 最新文章