为什么重要
早期 OCR 基准几乎都是印刷体、正面、干净的扫描件,模型在这些数据上早就刷到 99%+。但真实业务里的图像不是这样:手写的便签、拍歪的发票、带公式的试卷、中英混排的表格、反光的街边招牌。
CC-OCR 的价值在于场景覆盖的广度——39 个子集把真实世界里会遇到的文字形态铺开,不做「选一块最好啃的」这种事。它是国内多模态模型迭代时常用的 OCR 体检表:哪类场景掉了,一目了然。
对数据工程来说,这类基准的意义是告诉你数据配比往哪调。OCR 能力不是靠「更多印刷体」堆出来的,而是靠覆盖长尾场景:手写、公式、多语种混排、低质量拍摄。CC-OCR 的 39 个子集本身就是一份很好的数据配比参考清单。
构建方式
- 按真实业务场景划分 39 个子集,覆盖:印刷文档、扫描件、表格、票据、手写体、数学公式、图表文字、街景招牌、屏幕截图、多语种混排等
- 每个子集从真实来源采集图像,人工或半自动标注文字真值
- 标注规范统一:包含文字内容、区域位置、语种标记
- 评测时对识别结果做归一化后比对,用编辑距离与精确匹配双指标
任务示例
手写便签:识别手写中文便签上的全部文字(含涂改与连笔) 数学公式:把图片中的行内/独立公式识别为 LaTeX 票据:从一张倾斜拍摄的发票中提取商户名、金额、日期 混排:识别中英混排的技术文档截图,保持语种与顺序正确
每类场景的难点不同:手写是字形变化,公式是结构层次,票据是版面定位,混排是语种切换。
最新进展
- 作为 Qwen2-VL 系列论文的配套评测集之一,用于展示模型在中文 OCR 场景上的覆盖能力
- 后续多模态模型在报告 OCR 能力时,常直接引用 CC-OCR 的分场景得分,便于逐场景对比
- 由于子集划分细,它也被用作「数据配比诊断表」——哪个子集分数低,就往训练数据里补对应场景
关键发现
- 长尾场景决定实际可用性:印刷体刷到 99% 不代表业务可用,手写/公式/混排才是分水岭
- 公式识别是独立难点:需要输出结构化的 LaTeX,本质是 structured-gen 而非纯识别
- 中文场景长期被低估:早期 OCR 基准以英文为主,中文特有的字形密度与排版需要专门覆盖
- 数据启示:按场景子集建数据配比,比按总量堆数据有效得多