返回评测
数据 数据-分析 未饱和 模态 · 表格 任务 · 执行验证

Text2Analysis

测试 LLM 从自然语言到完整数据分析流程的端到端能力

RUC-GSAI ·

考察能力

数据分析 代码生成 可视化 统计推断

构建信息

数据规模
2,337 tasks
评测方式
执行验证 + 人工评审
核心指标
Execution Accuracy / Quality

模型效果排行

🥇 GPT-4o
~56%
🥈 Claude 3.5 Sonnet
~53%

为什么重要

数据分析是 LLM 在企业场景中最有价值的应用之一。Text2Analysis 不仅测试 SQL 生成,还涵盖数据清洗、统计分析、可视化生成的完整流程。

构建方式

  1. 收集真实数据分析需求
  2. 涵盖探索性分析、假设检验、趋势预测、报表生成
  3. 提供真实数据集

任务示例

需求:“分析 2023 年销售数据,找出各地区的季度趋势,并用折线图展示。” 输出:Python 代码(pandas + matplotlib)

关键发现

  • LLM 在简单查询和基础可视化上表现不错
  • 复杂统计分析(如假设检验选择)仍有困难
  • 数据清洗步骤经常被遗漏

关联基准

不足与展望

  • 评测质量主观成分较大
  • 可视化美观度难以量化
  • 但端到端分析评测方向正确
数据分析 可视化 自动化