返回评测
长文本 长上下文-理解 未饱和 模态 · 文本 任务 · 选择 / 判断

Text2DistBench

评估 LLM 从大规模文本集合中理解群体趋势和分布性信息的能力,超越传统事实性阅读理解

UCLA / 台湾研究机构 ·

考察能力

分布性信息理解 情感比例估计 话题频率排序 群体趋势推理 大规模文本聚合

构建信息

数据规模
基于真实 YouTube 评论构建,覆盖电影和音乐领域
构建方式
全自动化流水线,可持续更新纳入新实体
评测方式
分布性问答准确率评估
核心指标
分布式问题准确率(情感比例、频率排序等多类型)

模型效果排行

🥇 所有测试 LLM
均超随机基线,但不同分布类型表现差异显著 2026-04

为什么重要

传统阅读理解基准关注的是事实性信息——可以通过定位特定文本证据来回答。但许多现实任务需要理解的是分布性信息:大量评论中的情感倾向、讨论中的话题频率分布、群体层面的偏好趋势。Text2DistBench 首次系统性地定义并评估了这一”分布式阅读理解”能力。

核心设计

基准从真实 YouTube 评论中构建,覆盖电影和音乐领域。任务类型包括情感比例估计(正面/负面评论占比)和话题频率排序(最常见/次常见讨论主题)等。构建流水线完全自动化且可持续更新,确保基准不会过时。数据集托管于 HuggingFace,代码开源于 GitHub。

关键发现

所有测试 LLM 均显著超过随机基线,但在不同分布类型和特征上的表现差异显著。这揭示了当前 LLM 在分布式理解上存在不均衡的能力格局——某些类型的分布推理(如简单的多数/少数判断)相对容易,而精确的比例估计和复杂的多维分布理解仍是难点。

阅读理解 分布理解 群体趋势 情感分析 文本聚合 可扩展基准