为什么重要
文生图模型在短提示（「一只猫」）上早已过关，真正的差距在长提示：「一只戴蓝色项圈的橘猫坐在木桌上，旁边有一本翻开的红色书，背景是暖色调的落地窗」。这类提示包含多个实体、每个实体带属性、实体之间还有空间关系——模型经常顾此失彼：猫对了，项圈颜色错；书有了，位置不对。
DPG-Bench 就是专测这个。它的评测方式也很实用：用 VQA 模型对生成图逐项提问（「猫的项圈是什么颜色？」「书在猫的左边还是右边？」），把「遵循度」变成可自动统计的语义要素满足率，并按实体 / 属性 / 关系分层。
对数据侧的意义：文生图的训练数据（图文对）里，描述的长度与信息密度普遍偏低。网络爬取的 alt-text 大多是一句话，缺乏多实体多属性的密集描述。要提升密集描述遵循能力，需要有意识地构造/筛选长描述、结构化描述的图文对——这也是后来各种「长 caption 合成」工作的动机。
构建方式
- 设计提示生成流程：基于语义结构与词性分析，自动组合出含多实体、多属性、多关系的长提示
- 人工审核生成提示的合理性与多样性
- 共 1,065 条，覆盖多种场景与实体组合
- 评测时用 VQA 模型（如 LLaVA 类）对生成图像逐项提问
- 统计语义要素满足率，并按实体 / 属性 / 关系三层分别统计
任务示例
长提示：
A vintage copper teapot with a curved handle sits on a wooden table, next to a small white ceramic cup filled with dark coffee, with soft morning light from the left.
VQA 逐项提问：
- 图中有茶壶吗？（实体）
- 茶壶的材质/颜色是什么？（属性）
- 杯子在茶壶的哪一侧？（关系）
- 光线来自哪个方向？（关系）
每个问题答对记为满足，最终汇总为 DPG Score。三层分开统计就能看出模型是丢实体、错属性还是错关系。
最新进展
- DPG-Bench 成为文生图「组合性/遵循度」评测的常用基准，被多个扩散模型与自回归图像模型引用
- 它推动了「长描述 caption」数据的工作：合成更详细的图文描述用于训练，直接提升密集遵循能力
- 自回归图像生成模型（把图像当 token 序列生成）在这类任务上表现突出，与扩散模型形成对比
关键发现
- 关系最难，实体最易：模型能画出所有东西，但放不对位置、指错对象
- 属性绑定是经典失败模式：把 A 的颜色安到 B 上，是文生图的老问题
- VQA 自动评测可行：用视觉问答逐项核对，比人工评测高效且与人类判断相关性较好
- 数据启示：训练数据的 caption 长度与密度是瓶颈，需要专门的长描述数据