为什么重要
AgentLens 提出了一个根本性的问题：现有的编码 Agent 基准都在问同一个问题——“任务完成了吗？” 但真正使用这些 Agent 的开发者，体验的是整个交互过程——Agent 如何理解需求、调用工具、验证自己的工作、从错误中恢复、以及与用户沟通。把这一切压缩成一个”通过/失败”的比特，就像用出院率评价外科医生，而不管手术过程中有没有大出血。
AgentLens 的核心创新在于将评测的基本单位从”最终结果”切换为”完整轨迹”。每条轨迹包含：用户消息、AI 回复、工具调用（参数与结果）、文件修改记录、任务最终状态、AI 最终答复。这使 AgentLens 不仅能用于模型排名，还能诊断模型行为、比较 Agent 的连续版本、在夜间评估流水线中捕捉产品回归。
关键洞察：AgentLens 产出的不仅是分数，还有可读的评分解释——每次运行都会生成一段自然语言说明”为什么是这个分”。这对工程决策者比一个不透明的数字有用得多。
构建方式
1. 双轨任务构建
- 开发者访谈：访谈真实程序员，收集他们”昨天/前天做的实际工作”——检查代码、修改文件、查文档、跑测试、调 bug、审查改动——将高频任务作为高权重评测场景
- 匿名化聊天记录聚类：利用用户使用 AI 助手时留下的匿名化对话，提取编程语言、技术栈、任务类型、应用领域等标签，聚类找出高频使用模式，补充未被覆盖的场景
2. 用户模拟器
为了接近真实使用场景，AgentLens 引入 LLM 驱动的”用户模拟器”，有三种人格：
- 默认用户：不主动帮助 AI，仅在 AI 明显出错时介入
- 友好合作：在 AI 犯错时给出温和的纠正建议
- 情绪化用户：偶尔表达不满或语气不好（但不故意提供错误信息）
3. 5 维度评分体系
- 指令遵循（Instruction Following）：Agent 是否准确理解和执行用户需求
- 工具使用（Tool Use）：工具调用是否正确、高效
- 自我验证（Self-Verification）：是否主动检查自己的工作
- 错误恢复（Error Recovery）：遇到错误后是否能优雅恢复
- 沟通质量（Communication）：与用户的对话是否清晰、有帮助
4. 混合评估协议
- 形式化验证：当存在客观检查（如测试通过）时，提供硬性判定
- LLM 轨迹审查：由另一个 LLM 以”法官”身份阅读完整轨迹，给出各维度评分
- 并排比较：对同一任务的不同运行进行横向对比，发现改进与回归
关键发现
- 通过/失败不足以区分 Agent 质量：AgentLens 5 维度评估揭示，两个都能”通过”任务的 Agent，在沟通质量和错误恢复上可能天壤之别
- “幸运通过”问题：Agent 可能因为偶然因素通过最终测试，但轨迹显示其过程充满隐患——这在生产环境中会崩溃
- 用户人格显著影响表现���同一 Agent 在”合作型用户”和”情绪化用户”面前表现差异明显，说明当前 Agent 对交互风格敏感
- 解释驱动决策：评分附带自然语言解释，让评估者不只是看到”模型 A 比 B 好”，而是理解”A 在工具使用上更好但沟通上更差”
最新进展
- 2026-07-07：AgentLens 以 arXiv 预印本形式发布（2607.06624），代码开源至 github.com/agent-lens/agent-lens-bench
- 2026-07：团队声明 AgentLens 主要用于内部产品开发——诊断模型行为、比较连续版本、夜间回归检测——而非追求公开排行榜