为什么重要
文档 AI 的第一步不是识字,是看懂版面——哪块是标题、哪块是表格、哪块是正文、哪块是页眉页脚。这个步骤错了,后面 OCR 出来的文字就是一锅粥。DocLayNet 是这一层最重要的人工标注基准之一。
它跟 PubLayNet 的差别在于标注粒度更细、来源更多样:PubLayNet 主要来自医学文献、只有 5 类;DocLayNet 覆盖财务报告、科学文献、专利、法律文书、政府文件等多种来源,标注了 11 类元素(Caption、Footnote、Formula、List-item、Page-footer、Page-header、Picture、Section-header、Table、Text、Title)。
对数据工程来说,DocLayNet 这类数据的价值不只是训练版面模型,更是文档解析管线的对照标尺:你的版面模型在财务报告上掉多少分、在专利上掉多少分,能直接告诉你训练数据的来源配比缺了什么。
构建方式
- 从公开文档库采集多源 PDF:财务报告、科学文献、专利、法律文书、政府文件、手册等
- 人工标注每个页面元素的类别 + 边界框,共 11 类
- 标注采用 COCO 格式,可直接用于目标检测训练
- 划分训练/验证/测试集,并提供来源分布标签
- 评测采用目标检测通用的 mAP@IoU 指标
任务示例
给定一页财务报告图像,模型需要输出:
[
{"label": "Title", "bbox": [72, 60, 520, 96]},
{"label": "Text", "bbox": [72, 120, 520, 320]},
{"label": "Table", "bbox": [72, 340, 520, 560]},
{"label": "Page-footer","bbox": [72, 980, 520, 1000]}
]
难点在于:不同来源文档的版面风格差异极大(专利页有大量公式与编号,财务页有密集表格),单一模型要覆盖所有风格。
最新进展
- DocLayNet 已成为文档版面分析的事实标准之一,被 LayoutLM 系列、DiT、DocLayout-YOLO 等模型广泛用作训练与评测集
- 大量文档解析工具(含开源的文档处理管线)直接在其上训练版面模型
- 版面检测本身的精度已较高,当前瓶颈更多转向表格结构识别与阅读顺序还原这些下游步骤
关键发现
- 来源多样性是关键:只在单一来源(如医学文献)上训练,跨来源迁移性能明显下降
- 类别不平衡明显:Text 与 Title 样本极多,Formula / List-item 相对较少,需要针对性采样
- 版面是文档 AI 的地基:版面错一层,下游 OCR 与信息抽取全错
- 数据启示:做文档数据工程时,应按来源建配比台账,而不是混在一起堆量