返回评测
文档与OCR 文档-场景文字 未饱和 模态 · 图文 任务 · 开放生成

CC-OCR

覆盖文档、手写、图表、公式、多语种等多达 39 个子集的中文 OCR 评测集,检验模型在复杂真实场景下的文字识别能力

阿里巴巴通义(Qwen 团队) ·

考察能力

多场景 OCR 手写识别 公式识别 多语种识别 图表文字理解

构建信息

数据规模
7,058 页 / 39 个子集
构建方式
从真实业务与公开数据中收集多场景图像(文档、表格、票据、手写、公式、图表、街景等),人工标注文字内容
评测方式
识别结果与标注比对(编辑距离 / 精确匹配)
核心指标
Accuracy / 编辑距离

为什么重要

早期 OCR 基准几乎都是印刷体、正面、干净的扫描件,模型在这些数据上早就刷到 99%+。但真实业务里的图像不是这样:手写的便签、拍歪的发票、带公式的试卷、中英混排的表格、反光的街边招牌。

CC-OCR 的价值在于场景覆盖的广度——39 个子集把真实世界里会遇到的文字形态铺开,不做「选一块最好啃的」这种事。它是国内多模态模型迭代时常用的 OCR 体检表:哪类场景掉了,一目了然。

对数据工程来说,这类基准的意义是告诉你数据配比往哪调。OCR 能力不是靠「更多印刷体」堆出来的,而是靠覆盖长尾场景:手写、公式、多语种混排、低质量拍摄。CC-OCR 的 39 个子集本身就是一份很好的数据配比参考清单。

构建方式

  1. 按真实业务场景划分 39 个子集,覆盖:印刷文档、扫描件、表格、票据、手写体、数学公式、图表文字、街景招牌、屏幕截图、多语种混排等
  2. 每个子集从真实来源采集图像,人工或半自动标注文字真值
  3. 标注规范统一:包含文字内容、区域位置、语种标记
  4. 评测时对识别结果做归一化后比对,用编辑距离与精确匹配双指标

任务示例

手写便签:识别手写中文便签上的全部文字(含涂改与连笔) 数学公式:把图片中的行内/独立公式识别为 LaTeX 票据:从一张倾斜拍摄的发票中提取商户名、金额、日期 混排:识别中英混排的技术文档截图,保持语种与顺序正确

每类场景的难点不同:手写是字形变化,公式是结构层次,票据是版面定位,混排是语种切换。

最新进展

  • 作为 Qwen2-VL 系列论文的配套评测集之一,用于展示模型在中文 OCR 场景上的覆盖能力
  • 后续多模态模型在报告 OCR 能力时,常直接引用 CC-OCR 的分场景得分,便于逐场景对比
  • 由于子集划分细,它也被用作「数据配比诊断表」——哪个子集分数低,就往训练数据里补对应场景

关键发现

  • 长尾场景决定实际可用性:印刷体刷到 99% 不代表业务可用,手写/公式/混排才是分水岭
  • 公式识别是独立难点:需要输出结构化的 LaTeX,本质是 structured-gen 而非纯识别
  • 中文场景长期被低估:早期 OCR 基准以英文为主,中文特有的字形密度与排版需要专门覆盖
  • 数据启示:按场景子集建数据配比,比按总量堆数据有效得多
OCR 多模态 文档理解 手写识别 中文 通义