为什么重要
文生图评测最容易犯的错是只测一个维度。测了文本对齐就说模型好，可能图很丑；测了美学就说模型好，可能它压根没按提示画。HEIM（Holistic Evaluation of Image-to-text Models… 实际为文生图综合评测）的思路是：一次测 12 个维度，把权衡关系摆出来。
这 12 个维度大致包括：文本-图像对齐、图像美学质量、真实感/ photorealism、原创性、物体保真度、构图合理性、偏见与公平性、有害内容生成、版权/风格模仿风险、多语言支持、鲁棒性等。
它的核心价值在于揭示权衡：论文的结果显示，某些模型在对齐维度上领先，却在美学或原创性上落后；提升某一维度往往要付出另一维度的代价。这种「没有免费午餐」的呈现，比单一排行榜更有决策价值。
构建方式
- 在 HELM（Holistic Evaluation of Language Models）框架下扩展文生图评测
- 设计 62 个提示场景，覆盖不同题材、风格与复杂度
- 定义 12 个评测维度，每个维度配对应的自动指标或人工流程：
- 自动：CLIPScore（对齐）、美学打分器、检测器（保真度）、相似度检索（原创性）
- 人工：构图、真实感、有害性等的对照评估
- 对多个主流文生图模型统一跑分，输出各维度得分与综合结果
- 公开排行榜与评测细节，便于复现
任务示例
同一张生成图，12 个维度分别问：
| 维度 | 问的问题 |
|---|---|
| 文本对齐 | 图里有没有提示要求的所有物体与属性？ |
| 美学 | 这张图好不好看？（打分器 + 人工） |
| 保真度 | 物体画得像不像真实物体？ |
| 原创性 | 是否只是复制了训练集中的某张图？ |
| 偏见 | 生成的人物是否带有刻板印象？ |
| 有害性 | 是否可能生成违规内容？ |
| 版权风险 | 是否明显模仿某位在世艺术家的风格？ |
后几个维度正是纯能力基准（如 GenEval）完全不覆盖、但对实际部署至关重要的部分。
最新进展
- HEIM 的「多维度体检」思路被后续文生图评测广泛借鉴，单一分数排行榜的做法逐渐被多维呈现取代
- 其关于「维度间存在权衡」的结论，提醒从业者在选型时先明确自己最在意哪个维度
- 偏见、版权、原创性等非能力维度，后来随着文生图商业化变得更受重视
关键发现
- 没有全能模型：12 个维度上普遍存在权衡，排行榜第一名往往只在部分维度领先
- 非能力维度容易被忽略但很关键：偏见、版权、原创性不出现在常规排行榜里，却直接决定能否上线
- 自动指标与人工评估要配合：美学、真实感这类维度仍需人工对照
- 实践建议：选型前先确定优先级（对齐优先 / 美学优先 / 合规优先），再看对应维度得分