为什么重要
MINT 强调多轮交互——Agent 在使用工具后观察结果,调整策略,处理错误。这比单轮工具调用更接近真实的 Agent 工作方式。
构建方式
- 收集需要多轮工具交互的任务
- 涵盖数学求解(Python)、知识推理(Wikipedia API)、表格操作(SQL)
- 模拟多轮交互过程
任务示例
任务:计算某个复杂数学表达式的值 Agent 交互:写 Python → 执行 → 发现错误 → 修改 → 重新执行 → 得到结果
关键发现
- 多轮交互中错误恢复能力差异巨大
- 最优模型平均需 3-4 轮交互完成任务
- 工具选择错误比工具使用错误更致命
关联基准
- InterCode:交互式代码执行
- ToolBench:工具使用
- AgentBench:综合 Agent
不足与展望
- 任务范围有限(三类工具)
- 多轮上限固定可能限制表现
- 但多轮交互评测理念重要