返回评测
多模态 视频-编辑 未饱和 模态 · 视频 任务 · 开放生成

VEFX-Bench

涵盖 5049 个人工标注样本、专用奖励模型和 300 个标准化测试的视频编辑评测体系

多机构合作 ·

考察能力

指令遵循 渲染质量 编辑局部性 视觉特效

构建信息

数据规模
5049 个标注样本 + 300 个标准化测试,9 大类 32 子类
构建方式
人工标注,沿三个解耦维度(指令遵循/渲染质量/编辑排他性)逐样本评分
评测方式
VEFX-Reward 专用奖励模型自动评估 + 人类判断一致性验证
核心指标
三维度综合质量分(指令遵循、渲染质量、编辑局部性)

模型效果排行

🥇 当前最佳编辑系统
三维度存在持续性权衡,难以同时优异 2026-04

为什么重要

AI 视频编辑领域此前缺乏大规模、包含完整编辑样本和人类质量标签的评测数据集,评估往往依赖昂贵的人工检查或不专业的通用 VLM 评判。VEFX-Bench 同时提供数据集、专用评估模型和标准化基准三件套,是该领域首个系统性评测基础设施。

核心设计

整个体系包含三大组件:VEFX-Dataset(5049 个视频编辑样本,覆盖 9 大类 32 子类,沿指令遵循、渲染质量和编辑排他性三个解耦维度人工标注)、VEFX-Reward(联合处理源视频+编辑指令+编辑结果的专用奖励模型,通过序数回归预测各维度质量分数)、以及 VEFX-Bench 本体(300 个精选视频-提示词对的标准化评测集)。

关键发现

VEFX-Reward 在与人类判断的一致性上显著优于通用 VLM 评判器和先前的奖励模型。使用该模型对商业和开源视频编辑系统进行基准测试后发现,视觉合理性、指令遵循和编辑局部性三者之间存在持续性的权衡,现有模型难以在三个维度上同时取得优异表现。

视频编辑 视觉特效 奖励模型 多模态评估 VFX