为什么重要
首个评估 Agent Skills 效果的基准——不只测工具调用，还测策展好的 Skill 到底有没有用。它的设计要点是把 Skill 单独拎出来当自变量：同一个任务、同一个容器、同一个模型，只切换「不给 Skills」和「给专家写的 Skills」两种条件，差值即 Skill Lift。v1.0 于 2026-05-27 在旧金山发布（Google DeepMind 主持 launch party，是 CAIS「Agent Skills ‘26」workshop 的 afterparty），与 Kaggle 合作扩到 100+ 专家策展任务。
官方口径的核心结果（v1.1 论文聚合，18 个 model×harness 配置、87 任务、每任务 3 次、共 9,396 条计分轨迹）：策展 Skills 把平均解决率从 33.9% 抬到 50.5%（+16.6 个百分点）；而让模型自己写 Skill，平均增益约为零。四个 harness 为 Claude Code、Codex、Gemini CLI、OpenHands；公开榜另有 24 组配对配置。Dawn Song 为 advising author。
构建方式与示例
任务来自开放征集：105 位贡献者提交 322 个候选，经自动校验 + 人工评审留下 86 个，按难度分 17 core / 43 extended / 26 extreme 三档；初版覆盖 11 个领域（医疗、制造、网络安全、自然科学、能源、办公白领、金融、媒体内容、机器人、数学、软件工程），v1.1 收敛为 8 个领域的 87 个 native task.md 包。每个任务自带 Docker 环境、确定性 pytest 校验与被扣留的 oracle；另有 CI 审计确保策展 Skill 只提供方法而不夹带答案——否则 Skill 里直接塞解法就能刷高 Lift，测出来的就不是程序性知识了。
关联基准与展望
关联：BFCL、MCP-Atlas、ClawsBench、FrontierPhysics（同门后续）。MCP 生态爆发的背景下很有价值。