为什么重要
文生图评测长期被「好看不好看」这类主观指标（如人类偏好、美学评分）主导，但真正限制文生图实用性的往往不是美感，而是**「我说了三个苹果，它画了四个」这类语义错误。GenEval 的贡献就是把这件事变成可自动判定**的。
它的设计很克制：只测六类组合性能力——单物体生成、双物体生成、计数、颜色属性、位置关系、颜色绑定。每一类都能用对象检测模型给出确定答案：图里有几个苹果、苹果是什么颜色、狗在猫的左边还是右边。
这种「确定性判定」的好处是没有主观误差，结果可复现、可比较。代价是只覆盖了有限的语义维度——它测不了风格、美感、复杂叙事。所以 GenEval 应该与 DPG-Bench（密集描述）、人类偏好评测配合使用。
构建方式
- 设计六类组合性子任务：单物体、双物体、计数、颜色属性、位置关系、颜色绑定
- 为每类构造多条提示，共 553 条
- 生成图像后，用对象检测 / 分割模型识别图中的对象类别、数量、颜色与位置
- 逐条判定是否满足提示中的语义约束（如「三个红苹果」需同时满足数量 = 3 且颜色 = 红）
- 输出六类子任务得分与总分
任务示例
计数类：
a photo of 3 apples 判定：检测模型数出图中苹果数量，等于 3 才算通过
颜色绑定类：
a photo of a red apple and a green banana 判定：苹果必须是红色、香蕉必须是绿色——把颜色安到错误物体上就算失败（这是文生图经典的 attribute binding 失败）
位置关系类：
a photo of a dog to the left of a cat 判定：检测两者的边界框，确认狗确实在猫左侧
最新进展
- GenEval 成为文生图模型论文的常用组合性指标，尤其被自回归图像生成模型（如各类 token 化图像模型）用来展示其遵循优势
- 其「用检测器自动判定」的思路被后续工作扩展到更多语义维度
- 也促进了「合成数据反馈」的训练方式：用检测结果作为奖励信号优化生成模型
关键发现
- 计数是硬指标：模型在「画几个」这件事上经常出错，且错误率随数量增加上升
- 颜色绑定是最经典的失败模式：多物体场景下把属性安错对象
- 确定性判定可复现：用检测器而非人类评分，消除了主观噪声
- 覆盖范围有限：不测美感、风格与复杂语义，需要与主观评测配合