微软开源MarkitDown,RAG文档解析就这么解决了~

科技   2024-12-19 11:02   北京  
RAG有这么一个说法:“垃圾进,垃圾出”,文档解析与处理以获取高质量数据至关重要。近期,微软开源了MarkItDown,一款将各种文件转换为 Markdown 的实用程序(用于索引、文本分析等)。
https://x.com/shao__meng/status/1867348058662744236

MarkItDown支持

  • PDF
  • PPT
  • Word
  • Excel
  • 图像(EXIF 元数据和 OCR)
  • 音频(EXIF 元数据和语音转录)
  • HTML
  • 基于文本的格式(CSV、JSON、XML)
  • ZIP 文件

MarkItDown使用

使用 pip: pip install markitdown。或者,从源代码安装它:pip install -e .
Python中的基本用法:
from markitdown import MarkItDown md = MarkItDown() result = md.convert("test.xlsx") print(result.text_content)

要使用大型语言模型进行图像描述,请提供llm_client和llm_model:

from markitdown import MarkItDown from openai import OpenAI client = OpenAI() md = MarkItDown(llm_client=client, llm_model="gpt-4o") result = md.convert("example.jpg") print(result.text_content)

MarkItDown试用

https://www.html.zone/markitdown/

https://github.com/microsoft/markitdown

来源 | PaperAgent

深度学习与NLP
专注深度学习、NLP相关技术、资讯,追求纯粹的技术,享受学习、分享的快乐。
 最新文章