Knowledge Table:简化从非结构化文档中提取和探索结构化数据

文摘   2024-10-21 09:14   湖北  

项目简介

知识表是一个开源包,旨在简化从非结构化文档中提取和探索结构化数据的过程。它允许使用自然语言查询界面创建结构化知识表示,例如表格和图形。凭借可定制的提取规则、微调的格式选项以及通过 UI 中显示的来源进行的数据可追溯性,知识表可适应各种用例。


我们的目标是为业务用户提供熟悉的、类似电子表格的界面,同时为开发人员提供灵活且高度可配置的后端。无论您是处理少量文件还是浏览数百个文档,这都可确保无缝集成到现有 RAG 工作流程。


为什么是知识表?

更好的 RAG 系统依赖于为非结构化数据引入结构,将其转换为表格或图形等格式。WhyHow.AI 开发了组织文档内容和元数据的工具,而知识表等工具在此过程中发挥着关键作用。其直观的界面使技术和非技术用户都可以轻松探索和管理数据。

作为一个开源项目,知识表可以完全定制以满足您的需求。无论您是集成自己的模型、工作流程还是提取规则,其灵活性都支持创新并适应您的特定要求。通过以正确的格式构建正确的数据,知识表有助于简化数据提取过程,从而更轻松地从非结构化信息中释放有价值的见解。



入门

从 Docker 运行

先决条件

  • Docker 

  • Docker Compose

Starting the app 启动应用程序

docker-compose up -d --build

停止应用程序

docker-compose down

访问项目

前端可以通过http://localhost:3000访问,后端可以通过http://localhost:8000访问。


本地运行

先决条件

  • Python 3.10+

  • Bun(用于前端)


后端

  1. 克隆存储库:

  2. 导航到后端目录:

    cd knowledge-table/backend/
  3. 创建并激活虚拟环境:

    python3 -m venv venvsource venv/bin/activate  # On Windows use `venv\Scripts�ctivate`
  4. 安装依赖项:

    对于基本安装:

    pip install .

    使用开发工具安装:

pip install .[dev]

5. 启动后端:

cd src/python -m uvicorn app.main:app


项目链接

https://github.com/whyhow-ai/knowledge-table

扫码加入技术交流群,备注开发语言-城市-昵称

合作请注明


 

关注「GitHubStore」公众号


GitHubStore
分享有意思的开源项目
 最新文章