为什么重要
AI 视频编辑领域此前缺乏大规模、包含完整编辑样本和人类质量标签的评测数据集,评估往往依赖昂贵的人工检查或不专业的通用 VLM 评判。VEFX-Bench 同时提供数据集、专用评估模型和标准化基准三件套,是该领域首个系统性评测基础设施。
核心设计
整个体系包含三大组件:VEFX-Dataset(5049 个视频编辑样本,覆盖 9 大类 32 子类,沿指令遵循、渲染质量和编辑排他性三个解耦维度人工标注)、VEFX-Reward(联合处理源视频+编辑指令+编辑结果的专用奖励模型,通过序数回归预测各维度质量分数)、以及 VEFX-Bench 本体(300 个精选视频-提示词对的标准化评测集)。
关键发现
VEFX-Reward 在与人类判断的一致性上显著优于通用 VLM 评判器和先前的奖励模型。使用该模型对商业和开源视频编辑系统进行基准测试后发现,视觉合理性、指令遵循和编辑局部性三者之间存在持续性的权衡,现有模型难以在三个维度上同时取得优异表现。