为什么重要
传统阅读理解基准关注的是事实性信息——可以通过定位特定文本证据来回答。但许多现实任务需要理解的是分布性信息:大量评论中的情感倾向、讨论中的话题频率分布、群体层面的偏好趋势。Text2DistBench 首次系统性地定义并评估了这一”分布式阅读理解”能力。
核心设计
基准从真实 YouTube 评论中构建,覆盖电影和音乐领域。任务类型包括情感比例估计(正面/负面评论占比)和话题频率排序(最常见/次常见讨论主题)等。构建流水线完全自动化且可持续更新,确保基准不会过时。数据集托管于 HuggingFace,代码开源于 GitHub。
关键发现
所有测试 LLM 均显著超过随机基线,但在不同分布类型和特征上的表现差异显著。这揭示了当前 LLM 在分布式理解上存在不均衡的能力格局——某些类型的分布推理(如简单的多数/少数判断)相对容易,而精确的比例估计和复杂的多维分布理解仍是难点。