为什么重要
短视频理解（几秒到几十秒）已经不难了——抽几帧就能解决大半。长视频的难点在别处：信息散落在几分钟甚至几十分钟里，而且题目里的指代（「他后来提到的那个方案」）需要跨时段对齐。
LongVideoBench 的设计就盯着这两点：一是把视频拉长到分钟级乃至小时级，二是题目刻意要求跨时段检索和指代推理。它还有个特别之处——提供带字幕与不带字幕两种设置，可以直接量化「语音/字幕信息」对长视频理解的贡献。
对数据侧的含义：长视频训练数据的成本结构是「抽帧数量 × 视频时长」，而收益并不线性。LongVideoBench 上的表现说明，单纯堆帧数解决不了跨时段对齐问题——需要的是时序结构化的监督（谁在什么时候说了什么、前后如何呼应）。这类标注远比「给视频配一句描述」昂贵。
构建方式
- 收集长视频素材（电影、纪录片、教学与讲座等），切片后保留完整时间轴
- 标注者设计必须跨较长时段才能回答的问题：
- 跨时段检索：答案所需的线索分散在视频不同位置
- 指代推理：需要把题干里的代词/指称对齐到视频中的具体片段
- 每题配 3-4 个干扰项，干扰项设计成「局部正确但整体错误」，防止靠单帧蒙对
- 提供带字幕与不带字幕两种评测设置
- 按视频时长分档统计，便于观察性能随时长的衰减
任务示例
跨时段检索：
视频开头提到的那个实验，在第 32 分钟复述时，数据被修正成了多少？
指代推理：
嘉宾说的「那次失败」指的是她在前面提到的哪一件事？
这类题的解法必须先把题干里的指称定位到具体时间区间，再回到该区间提取细节——单看任何一帧或任何一小段都答不出来。
最新进展
- 发布时的基线显示：模型成绩随视频时长增长而明显衰减，长视频仍是多模态的薄弱区
- 「带字幕」设置的成绩显著高于「不带字幕」，说明语音转写/字幕信息是当前长视频理解的重要补充通道
- 后续的长视频模型主要通过更高效的帧采样策略（而非简单增加帧数）与时序建模来提升成绩
关键发现
- 难点在跨时段对齐而非帧数：给更多帧的收益递减，真正的瓶颈是把分散信息串成结构
- 字幕是重要补充：语音通道提供的信息量在长视频上尤其关键
- 干扰项设计有效：「局部正确」的干扰项能有效区分真理解与片段匹配
- 时长是难度杠杆：同一模型在 5 分钟档与 60 分钟档的表现差距显著