最近出现了一个新的工具gptpdf(https://github.com/CosmosShadow/gptpdf),创新的使用了视觉大语言模型(如 GPT-4o)将复杂PDF 解析为 markdown,实现非常简洁,核心代码仅有293行,但几乎可以完美地解析排版、数学公式、表格、图片、图表等,每页平均成本为0.013 美元(GPT-4o接口费用)。
2、使用视觉大模型(如 GPT-4o)进行解析,得到 markdown 文件.
GPT-4o的默认提示词为,对于别的大模型可以结合效果表现进行调整:
DEFAULT_PROMPT = """使用markdown语法,将图片中识别到的文字转换为markdown格式输出。你必须做到:
1. 输出和使用识别到的图片的相同的语言,例如,识别到英语的字段,输出的内容必须是英语。
2. 不要解释和输出无关的文字,直接输出图片中的内容。例如,严禁输出 “以下是我根据图片内容生成的markdown文本:”这样的例子,而是应该直接输出markdown。
3. 内容不要包含在```markdown ```中、段落公式使用 $$ $$ 的形式、行内公式使用 $ $ 的形式、忽略掉长直线、忽略掉页码。
再次强调,不要解释和输出无关的文字,直接输出图片中的内容。
"""
DEFAULT_RECT_PROMPT = """图片中用红色框和名称(%s)标注出了一些区域。
如果区域是表格或者图片,使用 ![]() 的形式插入到输出内容中,否则直接输出文字内容。
"""
DEFAULT_ROLE_PROMPT = """你是一个PDF文档解析器,使用markdown和latex语法输出图片的内容。
"""
整个使用也比较简单,可以方便地集成到现有的RAG流程中或是单独使用。
from gptpdf import parse_pdf
api_key = 'Your OpenAI API Key'
content, image_paths = parse_pdf(pdf_path, api_key=api_key)
print(content)
gptpdf-ui项目在此基础上封装为web服务,支持在线解析和预览。