为什么重要
随着视觉语言模型的兴起，OCR 技术快速发展，但评估一直集中在少数高资源文字系统上。GlotOCR Bench 覆盖 100 余种 Unicode 文字系统，系统性地揭示了当前 OCR 模型的多文字泛化短板——大多数模型仅在不到 10 种文字系统上表现良好，即使最强模型也无法泛化到超过 30 种。
核心设计
基准使用真实多语言文本渲染清晰和退化两种图像变体，采用 Google Fonts 字体库配合 HarfBuzz 整形和 FreeType 光栅化，支持从左到右和从右到左文字方向。所有文字系统的渲染图像均经过人工审核验证正确性，数据集和流水线代码均已开源。
关键发现
性能与文字系统级别的预训练覆盖度高度相关，表明当前 OCR 系统更依赖语言模型预训练而非真正的视觉识别能力。模型面对不熟悉的文字系统时，要么输出随机噪声，要么产生来自已知相似文字系统的幻觉字符。