返回评测
文档与OCR 文档-版面分析 接近饱和 模态 · 图像 任务 · 检测 / 标注

DocLayNet

覆盖财务报告、科学文献、专利、法律文书等多源文档的大规模版面标注数据集,11 类版面元素的人工标注

IBM Research ·

考察能力

版面分析 文档结构理解 区域检测 文档元素分类

构建信息

数据规模
80,863 页,11 类版面元素标注
构建方式
从公开文档库采集多源 PDF(财务、科学、专利、法律、政府文件等),人工标注页面元素的类别与边界框
评测方式
版面元素检测(mAP / IoU)
核心指标
mAP@IoU

为什么重要

文档 AI 的第一步不是识字,是看懂版面——哪块是标题、哪块是表格、哪块是正文、哪块是页眉页脚。这个步骤错了,后面 OCR 出来的文字就是一锅粥。DocLayNet 是这一层最重要的人工标注基准之一。

它跟 PubLayNet 的差别在于标注粒度更细、来源更多样:PubLayNet 主要来自医学文献、只有 5 类;DocLayNet 覆盖财务报告、科学文献、专利、法律文书、政府文件等多种来源,标注了 11 类元素(Caption、Footnote、Formula、List-item、Page-footer、Page-header、Picture、Section-header、Table、Text、Title)。

对数据工程来说,DocLayNet 这类数据的价值不只是训练版面模型,更是文档解析管线的对照标尺:你的版面模型在财务报告上掉多少分、在专利上掉多少分,能直接告诉你训练数据的来源配比缺了什么。

构建方式

  1. 从公开文档库采集多源 PDF:财务报告、科学文献、专利、法律文书、政府文件、手册等
  2. 人工标注每个页面元素的类别 + 边界框,共 11 类
  3. 标注采用 COCO 格式,可直接用于目标检测训练
  4. 划分训练/验证/测试集,并提供来源分布标签
  5. 评测采用目标检测通用的 mAP@IoU 指标

任务示例

给定一页财务报告图像,模型需要输出:

[
  {"label": "Title",      "bbox": [72, 60, 520, 96]},
  {"label": "Text",       "bbox": [72, 120, 520, 320]},
  {"label": "Table",      "bbox": [72, 340, 520, 560]},
  {"label": "Page-footer","bbox": [72, 980, 520, 1000]}
]

难点在于:不同来源文档的版面风格差异极大(专利页有大量公式与编号,财务页有密集表格),单一模型要覆盖所有风格。

最新进展

  • DocLayNet 已成为文档版面分析的事实标准之一,被 LayoutLM 系列、DiT、DocLayout-YOLO 等模型广泛用作训练与评测集
  • 大量文档解析工具(含开源的文档处理管线)直接在其上训练版面模型
  • 版面检测本身的精度已较高,当前瓶颈更多转向表格结构识别与阅读顺序还原这些下游步骤

关键发现

  • 来源多样性是关键:只在单一来源(如医学文献)上训练,跨来源迁移性能明显下降
  • 类别不平衡明显:Text 与 Title 样本极多,Formula / List-item 相对较少,需要针对性采样
  • 版面是文档 AI 的地基:版面错一层,下游 OCR 与信息抽取全错
  • 数据启示:做文档数据工程时,应按来源建配比台账,而不是混在一起堆量
版面分析 文档AI OCR 目标检测 IBM 数据集