为什么重要
EdgeBench 是 2026 年 7 月第一个系统性衡量 Agent 从真实世界环境中持续学习 能力的基准。它与传统评测的根本区别在于：不是问”模型已经知道什么”，而是问”模型在与环境持续交互时，会怎样学习并改进”。
传统基准（SWE-bench、HumanEval、AIME 等）本质上是”开盒即用”的瞬间判断——给一道题，看一次输出的正确性。EdgeBench 将时间轴从”秒级”拉伸到”小时级”，每个任务允许 Agent 持续运作 12 小时以上，期间 Agent 可以：
- 尝试方案 → 收到多层反馈（成功/失败信号 + 中间结果 + 错误日志）
- 基于反馈调整策略 → 再次尝试
- 多次迭代 → 逐步逼近最优解
这种设计捕捉了 AI 在实际部署中最重要的能力之一：在接触新环境、新任务时，能否通过经验积累而变得更强。
核心科学发现：环境学习的 Log-Sigmoid Scaling Law
EdgeBench 最重要的贡献是首次发现环境学习遵循高精度 log-sigmoid 曲线（拟合精度 R² = 0.998），这意味着：
- Agent 在环境交互初期的学习速度最快（类似”快速上手”阶段）
- 随后进入减速阶段，最终趋近一个”天花板”（asymptote）
- 这个天花板的绝对高度取决于模型本身的预训练能力
更惊人的是跨代际发现：从 2025 年 9 月到 2026 年 5 月，前沿模型的环境学习速度大约每三个月翻一倍——这是一条全新的、独立于预训练 Scaling Law 的”环境学习 Scaling Law”。
构建方式
任务设计
134 个真实任务横跨六大领域，每个任务由领域专家手工构建：
| 领域 | 描述 | 任务示例 |
|---|---|---|
| 科学发现 | 文献分析、假设验证、实验设计 | 从 PubMed 文献中提取药物相互作用网络 |
| 软件工程 | 代码重构、架构优化、调试 | 在大型代码库中定位并修复性能瓶颈 |
| 组合优化 | NP-hard 问题、资源调度 | 物流网络优化、排班问题 |
| 专业知识工作 | 金融建模、法律分析 | 公司财报深度分析与估值建模 |
| 形式数学 | 定理证明、数学发现 | 自动证明或证伪组合数学猜想 |
| 交互游戏 | 策略博弈、模拟 | 复杂模拟环境中的策略优化 |
反馈机制
每个任务配备多层反馈，Agent 可以看到：
- 即时反馈：代码是否通过编译/测试
- 中间反馈：部分结果的质量评估
- 最终反馈：任务完成的整体评分
- 人类校准：部分任务包含专家质量的基准线
开源范围
已公开 51 个任务及完整评测框架（含学习曲线可视化工具），其余 83 个任务作为 holdout 防止污染。
关键发现
发现 1：log-sigmoid 学习曲线精度惊人
402 条模型-学习曲线拟合精度 R² = 0.998，表明环境学习过程高度可预测——给定模型基础能力和任务特征，可以精确预测 Agent 在任意时间点的表现。
发现 2：学习速度每三月翻倍
前沿模型的环境学习速度（log-sigmoid 曲线的斜率参数）以每三个月翻一倍的速度提升。从 GPT-4o（2025-09）到 Claude Opus 4.8（2026-05），学习速率约增长 8 倍。
发现 3：基础能力决定学习天花板
学习曲线的渐近线（asymptote）主要由模型的预训练能力决定——Opus 4.8 虽然在很多任务上学习速度并非最快，但最终的 asymptotic performance 最高（51.3），体现”基础能力上限→最终表现上限”的因果关系。
发现 4：不同领域的学习模式差异巨大
- 软件工程：学习曲线陡峭（快速上手），渐近线较高
- 科学发现：学习曲线平缓（需要大量积累），渐近线适中
- 交互游戏：学习曲线呈现”阶梯状”（需要发现关键策略后才能跳跃式提升）
发现 5：GPT-5.5 与 Opus 4.8 的”学习风格”不同
- Opus 4.8：初期探索更广泛（尝试更多不同策略），后期收敛更精准。整体 asymptotic 更高（51.3 vs 48.4）
- GPT-5.5：初期收敛更快（更早达到”局部最优”），但后期突破较少。在某些需要”跳出思维定式”的任务上表现不如 Opus 4.8
与现有基准的关系
| 维度 | SWE-bench Pro | Terminal-Bench 2.1 | OSWorld 2.0 | EdgeBench |
|---|---|---|---|---|
| 评测目标 | 单次代码修复 | 单次终端任务 | 单次桌面操作 | 持续环境学习 |
| 时间跨度 | 分钟级 | 分钟级 | 小时级 | 12 小时+ |
| 核心问题 | 能不能 | 能不能 | 能不能 | 能不能越来越好 |
| 反馈机制 | 二元（通过/失败） | 二元 | 二元 | 多层连续反馈 |
| SOTA | 80.3% (Fable 5) | 91.9% (GPT-5.6 Sol Ultra) | 54.8% (Opus 4.8) | 51.3 (Opus 4.8) |
EdgeBench 不与传统基准竞争，而是开辟了全新的评测维度：在”静态能力测试”和”考场式评测”之外，首次度量了 Agent 的”学习增量”（learning delta）——即在部署后通过环境交互能获得多少额外能力。
最新进展
- 2026-07-06：字节跳动 Seed 团队正式发布 EdgeBench，arXiv:2607.05155，47 位作者，论文首次提出环境学习 Log-Sigmoid Scaling Law
- 2026-07-06：公开排行榜上线，5 个前沿模型完整评测，Opus 4.8 以 51.3 领先、GPT-5.5 48.4 紧随
- 2026-07：已开源 51 个任务 + 完整评测框架 + 学习曲线可视化工具，社区可复现
不足与展望
- 134 个任务在绝对数量上不算大（每个任务 12 小时+，总交互时间 38,000 小时），统计置信度有限
- 评测仅 5 个模型，缺乏更广泛的前沿模型覆盖（Fable 5/Mythos 5/Gemini 3.1 Pro 等尚未评测）
- 学习曲线的”最优策略”选择可能存在实验者偏差——12 小时的时间窗口对某些超难任务可能不够
- 公开子集 51 个任务与 holdout 之间的代表性有待验证
- 未覆盖视觉交互、多模态环境学习等场景
- 作为首个”环境学习”基准，EdgeBench 的发现需要更多独立团队复现和验证