MinerU

MinerU简介

MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。 MinerU诞生于书生-浦语的预训练过程中。MinerU能保留原PDF文档结构，提取文字、图片、图片描述、表格等内容，自动识别并转换LaTeX格式、HTML格式，自动OCR，支持多语言。

MinerU主要功能：

• 删除页眉、页脚、脚注、页码等元素，确保语义连贯

• 输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版

• 保留原文档的结构，包括标题、段落、列表等

• 提取图像、图片描述、表格、表格标题及脚注

• 自动识别并转换文档中的公式为LaTeX格式

• 自动识别并转换文档中的表格为HTML格式

• 自动检测扫描版PDF和乱码PDF，并启用OCR功能

• OCR支持84种语言的检测与识别

• 支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等

• 支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检

• 支持CPU和GPU环境

• 兼容Windows、Linux和Mac平台

MinerU核心功能与优势：

• Magic-PDF模块：专注于PDF文档处理，能够智能识别并去除非正文内容如页眉、页脚，同时精准保留标题、段落、列表等结构，支持图片、表格、公式的提取，确保转换后的Markdown格式既准确又易于阅读。

• Magic-Doc模块：针对网页和电子书，能够从网页中提取正式内容。

• 多模态内容处理：MinerU不仅处理文本，还能有效提取和处理图像、表格、公式等多模态内容。

• 多语言支持：MinerU支持包括繁简中文在内的84种语言。

• 格式多样：支持多种输出格式和可视化结果，适配 CPU 和 GPU 环境，兼容多平台。

• 自动识别转换：识别并转换公式为 LaTeX 格式，表格为 LaTeX 或 HTML 格式，还能自动检测并启用 OCR 功能，。

MinerU只要应用于学术研究、市场分析、法律文档处理、知识管理等领域，使得我们能高效地从大量文档中提取关键信息，从而加速数据准备过程，为大模型训练、知识图谱构建等提供高质量的数据支持。

MinerU由上海人工智能实验室（上海ai实验室）大模型数据基座OpenDataLab团队开发，并在2024年的WAIC（世界人工智能大会）上发布，迅速在GitHub上获得关注，成为Python的热门项目。