为什么重要
判断陈述相对于表格是否为真——117,854 个声明-表格对。LLM 已接近饱和（90%），但复杂多步逻辑仍有挑战。
构建方式与示例
例如：[表格：各国 GDP] “美国的 GDP 是日本的 3 倍以上” → True/False
关联基准与展望
关联：WikiTableQuestions、TableBench。接近饱和。
返回评测
数据 数据-表格 接近饱和
模态 · 表格
任务 · 结构化输出 ICLR 2020
TabFact
判断一个陈述相对于给定表格是否为真，117,854 个人工标注的声明-表格对
UCSB ·
考察能力
事实验证 表格推理 逻辑判断
构建信息
- 数据规模
- 117854 statements / 16573 tables
- 构建方式
- 众包标注
- 评测方式
- 二分类（真/假）
- 核心指标
- Accuracy (%)
资源链接
模型效果排行
🥇 GPT-4
~90% 2024-01
事实验证 表格 逻辑