登顶GitHub Trending，开源工具MinerU助力复杂PDF高效解析提取

文摘 2024-07-30 19:20 上海

在7月4日举行的WAIC 2024科学前沿主论坛上，书生·浦语2.5正式发布，面向大模型研发与应用的全链条工具体系同时迎来升级。在数据处理环节，上海人工智能实验室（上海AI实验室）大模型数据基座OpenDataLab团队开源了全新的智能数据提取工具——MinerU。

MinerU 不仅能将混合了图片、公式、表格、脚注等在内的复杂多模态 PDF 文档精准转化为清晰、易于分析的 Markdown 格式；同时支持从包含广告等各种干扰信息或者复杂格式的网页、电子书中快速解析、抽取正式内容，有效提高AI语料准备效率，助力各行业利用大模型、RAG等技术，结合学术文献、财务报告、法律文件、电子书籍等专业文档，打造垂直领域的新知识引擎。

MinerU项目地址

https://github.com/opendatalab/MinerU（点击文末“阅读原文”直达）

PDF-Extract-Kit PDF模型解析工具链代码

https://github.com/opendatalab/PDF-Extract-Kit

MinerU代码公开之后，凭借精准、快速的SOTA效果，媲美甚至超过商业软件的性能，获国内外多个技术大V点赞，GitHub Star累计飙升3000+，登顶GitHub Python Trending（2024年7月28日-29日），成为AI数据清洗中一个优秀的开源工具。

一、MinerU功能介绍

MinerU 可以将 PDF 转化为 Markdown 格式。支持转换本地文档或者位于支持S3协议对象存储上的文件。主要功能包含：

● 支持多种前端模型输入

● 删除页眉、页脚、脚注、页码等元素

● 符合人类阅读顺序的排版格式

● 保留原文档的结构和格式，包括标题、段落、列表等

● 提取图像和表格并在Markdown中展示

● 将公式转换成LaTex

● 乱码PDF自动识别并转换

● 支持CPU和GPU环境

● 支持Windows/Linux/Mac平台

（更多详细介绍，请点击此处查看）

（MinerU功能完整介绍视频）

二、PDF提取流程及技术架构

PDF文档相比网页、电子书等结构标准化的文件含有更多复杂的元素，处理更具挑战性和代表性，所以接下来，将以PDF为代表，重点介绍 MinerU 如何实现高质量文档数据提取。

（流程图）

MinerU PDF文档提取，主要由4大环节构成：

● PDF文档分类预处理

MinerU支持不同类型的PDF文档提取，包括文本型PDF、图层型PDF、扫描版PDF；初始阶段，输入PDF文档，系统会启用文档分类模块，提取PDF元数据，检测是否有乱码，是否是扫描版，进行PDF类型识别预处理。

（注：文本型PDF：文字可以复制；图层型PDF：文字不可复制，解析乱码）

● 模型解析，PDF内容提取

紧接着，利用高质量PDF模型解析工具链进一步对PDF文档进行Layout区块布局检测，准确定位标题、正文、图片、表格、脚注、边注等重要元素位置，与此同时，结合公式检测模型定位公式区域。最后结合高质量公式识别及OCR技术提取准确的文本、公式内容，存储到JSON文件中。

● 管线处理，支持多种格式输出

模型处理的数据会输入管线，进行后处理：确定块级别顺序，删减无用元素，依靠版面对内容排序、拼装，保证正文流畅。处理方式包括：坐标修复、高iou处理、图片、表格描述合并、公式替换、图标转储、Layout排序、无用移出、复杂布局过滤等。

管线处理好的文档信息会变为一个统一的中间态：middle-json（包含PDF解析出来的所有的信息），开发者可以按照使用需求自定义输出Layout、Span、Markdown、Content list等不同的格式。

（注：Content list是作者团队开发的一套列表样的序列结构格式，比Markdown格式能保留更多信息，可用于多模态、NLP等大模型训练）

● PDF提取结果质检

团队利用由论文、教材、试卷、研报等多种类型文档组成的人工标注的PDF自测评测集，对整个流程进行检测，保证每次开发调优、算法改进后，提取效果越来越好；同时利用可视化质检工具，将PDF提取结果进行人工质检与标注，再反馈给模型训练，进一步提升模型能力。

详细项目全景图如下：

三、高质量PDF模型解析工具链

MinerU PDF模型解析工具链 PDF-Extract-Kit，主要由四个关键模块组成：

● 布局检测：使用 LayoutLMv3 微调出来的检测模型进行区域检测，如图像，表格、标题、文本等；

● 公式检测：使用基于 YOLOv8 自研的公式检测模型进行公式检测，包含行内公式和行间公式；

● 公式识别：使用自研的 UniMERNet 公式识别模型进行公式识别；

● 光学字符识别：使用 PaddleOCR 模型进行文本识别；

在论文、教材、研报、财报等多样性的PDF文档上，MinerU的pipeline都能得到准确的提取结果，对于扫描模糊、水印等情况也有较高鲁棒性。

（不同类型PDF提取效果示意）

四、评测指标

● 布局检测

作者团队将 MinerU 与现有的开源 Layout 检测模型做了对比，包括 DocXchain、Surya、360LayoutAnalysis 的两个模型。而 LayoutLMv3-SFT 指的是他们在LayoutLMv3-base-chinese 预训练权重的基础上进一步做了SFT训练后的模型。论文验证集由402张论文页面构成，教材验证集由587张不同来源的教材页面构成。

● 公式检测

作者团队将 MinerU 与开源的模型 Pix2Text-MFD 做了对比。其中，YOLOv8-Trained 是他们在YOLOv8l 模型的基础上训练后的权重。论文验证集由255张论文页面构成，多源验证集由789张不同来源的页面构成，包括教材、书籍等。

● 公式识别

公式识别作者团队则直接使用了 UniMERNet 的权重，没有进一步的SFT训练，其精度验证结果可以在其GitHub页面获取。

●光学字符识别

使用了PaddleOCR 官方提供的权重，没有做进一步的训练和验证，因此不涉及验证代码。

评测结果显示，MinerU在布局检测、公式检测、公式识别多个维度上性能都远超其他开源模型，识别准确率也非常不错。更多评测详情，请访问：

https://github.com/opendatalab/PDF-Extract-Kit/blob/main/assets/validation/README-zh_CN.md

五、MinerU部署及使用

MinerU完整部署及使用文档请访问：

https://github.com/opendatalab/MinerU

MinerU能力已集成在新一代大语言模型书生·浦语2.5（InternLM2.5）中，可以与AI进行文档格式转化及内容问答交互，欢迎大家体验。

更多开源数据处理宝藏工具，尽在 OpenDataLab GitHub仓库：

https://github.com/opendatalab

还有超好用的多模态标注工具 LabelU：

https://github.com/opendatalab/labelU

多模态对话标注管理平台Label-LLM:

https://github.com/opendatalab/LabelLLM

不要吝啬你的star!

你的star是作者前进最大的动力！

快来点个star支持一下吧！

欢迎扫码进大模型数据处理交流群，还有哪些需求，尽管提

更多精彩数据内容，尽在OpenDataLab

https://opendatalab.org.cn/

OpenDataLab

上海人工智能实验室是我国人工智能领域新型科研机构，开展战略性、原创性、前瞻性的科学研究与技术攻关，目标建成国际一流的人工智能实验室，成为享誉全球的人工智能原创理论和技术的策源地。

最新文章

从入门到“出圈”，书生大模型实战营第4期学员招募中 | 活动预告

DocLayout-YOLO，让多样性文档布局检测更快、更准、更强

免费下载 | 横跨120余年，数亿条学术数据，大规模学术数据库“智创”开源

谁才是你最爱的 AI 数据平台？在线等，急！（有奖调研）

直播预告丨热门开源工具MinerU详解：助力复杂PDF/网页高效解析提取

不是吧？这么好用的开源标注工具，竟然还有人不知道…

AI Spot 第 2 期丨ACL 2024 字节专场直播，与多位研究员在线畅聊

江湖救急：MinerU安装宝典，AI侠客必备

速看！2024 CVPR 上海人工智能实验室专场直播回顾&干货资料包来了

登顶GitHub Trending，开源工具MinerU助力复杂PDF高效解析提取

CVPR 2024 上海人工智能实验室专场直播丨AI Spot 学术分享会

A100算力加持！书生大模型实战营全面升级，趣味闯关等你来

AI考生能被什么大学录取？文科可上一本，理科过二本线

AI Talk直播预告⑤ | 详解MinerU：赋能大模型的高质量网页与PDF数据提取技术及工具分享

周伯文：探索人工智能45°平衡律

WAIC上官宣！大模型语料提取工具MinerU正式发布，开源免费“敲”好用

AI Talk直播预告④ | 详解MAP-Neo：第一个高性能、完全开源透明的双语LLM

ModelScope联手OpenDataLab：直接调用7000+开源数据集，赋能AI模型加速研发

AI Talk直播预告③ | 详解InternVideo2：最新多模态视频基础模型

ACL2024|上海AI Lab, 武汉大学，同济大学联合发布并开源第一个面向大语言模型的中文常识推理测评基准 CHARM !

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉