实现上下文检索:提升文档处理的智能化的开源代码

文摘   2024-11-10 07:45   福建  

该代码实现了 Anthropic 的上下文检索功能,结合了 LlamaParse 的高级模式。与 Anthropic 博客(https://www.anthropic.com/news/contextual-retrieval)中使用的文本块不同,该实现采用节点,更好地表示文档的结构、语义和元数据。上传的 PDF 文档的解析文件存放在“parsed”文件夹中,使用解析文件时需将笔记本中的 PARSING 设置为 0,并指定解析文件的文件夹名称(如“immigrant_stats”)。若要解析新文件,将其存放在“files2”文件夹中,并将 PARSING 设置为 1,运行时指定输出目录名称。运行解析时需要 OpenAI API 密钥,解析新文件时需在 Llama Cloud 创建账户并获取免费的 API 密钥。此外,使用 Cohere 的重排序模型也需要从其网站获取免费的 API 密钥,并在代码中将变量 're_ranking' 设置为 1。

参考:

  1. https://github.com/umairalipathan1980/Multimodal-contextual-RAG?tab=readme-ov-file



点个享、点赞在看,你最好看~


Halo咯咯
专注于技术知识整理,包含人工智能、大模型、机器学习、深度学习、大数据等多个领域的技术知识,以及各种开源的内容~
 最新文章