返回评测
Agent Agent-工具调用 未饱和 模态 · 文本 任务 · 执行验证

MINT

测试 LLM Agent 在多轮交互中使用工具解决问题的能力

University of Illinois ·

考察能力

多轮交互 工具选择 错误恢复 策略调整

构建信息

数据规模
586 tasks
评测方式
执行验证
核心指标
Success Rate (k turns)

模型效果排行

🥇 GPT-4o
~65%
🥈 Claude 3.5 Sonnet
~62%

为什么重要

MINT 强调多轮交互——Agent 在使用工具后观察结果,调整策略,处理错误。这比单轮工具调用更接近真实的 Agent 工作方式。

构建方式

  1. 收集需要多轮工具交互的任务
  2. 涵盖数学求解(Python)、知识推理(Wikipedia API)、表格操作(SQL)
  3. 模拟多轮交互过程

任务示例

任务:计算某个复杂数学表达式的值 Agent 交互:写 Python → 执行 → 发现错误 → 修改 → 重新执行 → 得到结果

关键发现

  • 多轮交互中错误恢复能力差异巨大
  • 最优模型平均需 3-4 轮交互完成任务
  • 工具选择错误比工具使用错误更致命

关联基准

不足与展望

  • 任务范围有限(三类工具)
  • 多轮上限固定可能限制表现
  • 但多轮交互评测理念重要
多轮 工具使用 交互Agent