为什么重要
数据分析是 LLM 在企业场景中最有价值的应用之一。Text2Analysis 不仅测试 SQL 生成,还涵盖数据清洗、统计分析、可视化生成的完整流程。
构建方式
- 收集真实数据分析需求
- 涵盖探索性分析、假设检验、趋势预测、报表生成
- 提供真实数据集
任务示例
需求:“分析 2023 年销售数据,找出各地区的季度趋势,并用折线图展示。” 输出:Python 代码(pandas + matplotlib)
关键发现
- LLM 在简单查询和基础可视化上表现不错
- 复杂统计分析(如假设检验选择)仍有困难
- 数据清洗步骤经常被遗漏
关联基准
- DSBench:数据科学综合
- InfiAgent-DABench:数据分析 Agent
- DataBench:数据理解
不足与展望
- 评测质量主观成分较大
- 可视化美观度难以量化
- 但端到端分析评测方向正确