Terminal-Bench 2.0

89 个任务 · 39 个 Agent+Model 组合 · 逐一深度分析
89
独立任务
39
Agent+Model
10,677
总试验次数
64.0%
平均通过率
1
全军覆没
17
90%+通过

📑 目录

一、总览仪表盘
二、89个任务逐一分析
三、全局热力图
四、按类别分析
五、Agent+Model 排名
六、核心洞察

📊 一、总览仪表盘

难度分布

1
全军覆没(0%)
1%
8
极难(1-15%)
9%
11
困难(16-40%)
12%
20
中等(41-70%)
22%
32
较易(71-90%)
36%
17
简单(91-100%)
19%

🔬 二、89个任务逐一深度分析

筛选:
#1 make-doom-for-mips编译/构建 全军覆没
📋 将经典 Doom 游戏引擎交叉编译到 MIPS 架构
🔧 所需技能: 交叉编译、系统编程、游戏引擎移植
📊 通过: 0/39 (0.0%) 🎯 试验级: 0.0% 🔄 总试验: 122次
0.0%
💡 难点分析: 需要完整 MIPS 交叉编译工具链，Doom 引擎涉及底层图形渲染和平台特定代码，MIPS 大端字节序与 x86 差异巨大。综合了交叉编译、遗留代码移植和底层系统编程三大难题。
🔍 所有39个组合全部失败，连一次试验都没通过——当前 AI Agent 的绝对盲区。
#2 caffe-cifar-10ML/AI 极难
📋 使用 Caffe 框架在 CIFAR-10 上训练/推理
🔧 所需技能: 遗留 DL 框架、C++ 编译、环境配置
📊 通过: 1/39 (2.6%) 🎯 试验级: 1.8% 🔄 总试验: 112次
2.6%
💡 难点分析: Caffe(2014)编译极复杂（protobuf/BLAS/OpenCV/Boost 兼容性），prototxt 格式独特且训练数据稀缺，LMDB 数据转换需特定工具。
🔍 仅 MAYA+Claude-4.5-sonnet 通过，暗示 MAYA 框架可能有环境自修复能力。
✓ MAYA__Claude-4.5-sonnet (100%) △ Ante__Gemini-3-Pro-Preview (20%)
#3 train-fasttextML/AI 极难
📋 训练 FastText 文本分类/词嵌入模型
🔧 所需技能: NLP、超参数调优、数据预处理
📊 通过: 1/38 (2.6%) 🎯 试验级: 7.3% 🔄 总试验: 110次
2.6%
💡 难点分析: 数据预处理要求高（标签格式化、文本清洗），参数调优（学习率、n-gram）不当导致精度不达标。
🔍 仅 MAYA+Claude-4.5-sonnet 通过，但 dakou+qwen3 达 40% 试验率，说明偶尔能接近。
✓ MAYA__Claude-4.5-sonnet (100%) △ dakou__qwen3-coder-480b (40%) △ Ante__Gemini-3.1-Pro-Preview (20%) △ Terminus-KIRA__Gemini-3.1-Pro-Preview (20%) △ Terminus2__DeepSeek-V3.2 (20%)
#4 filter-js-from-html编程/算法 极难
📋 从 HTML 中精确提取/过滤 JavaScript
🔧 所需技能: HTML 解析、边界情况
📊 通过: 1/34 (2.9%) 🎯 试验级: 1.7% 🔄 总试验: 116次
2.9%
💡 难点分析: JS 以多形式存在（<script>、内联事件、动态代码），嵌套注释/CDATA/模板字面量等 edge case 极多。与 break-filter(89.7%) 形成鲜明对比。
🔍 仅1/34通过(2.9%)，与 break 版本差距86个百分点——防御远比攻击难。
✓ MAYA__Claude-4.5-sonnet (100%) △ Crux__Claude-Opus-4.6 (20%)
#5 install-windows-3.11系统/基础设施 极难
📋 在虚拟环境中安装 Windows 3.11
🔧 所需技能: 虚拟化、复古计算、自动化交互
📊 通过: 2/39 (5.1%) 🎯 试验级: 5.8% 🔄 总试验: 121次
5.1%
💡 难点分析: 需 QEMU 配置16位系统、模拟软盘和 DOS 环境，自动化文本/图形安装流程，极冷门知识。
🔍 仅 Droid 和 Forge（均用 Claude Opus 4.6）通过，暗示该模型在系统管理上有独到优势。
✓ Droid__Claude-Opus-4.6 (100%) ✓ Forge__Opus-4.6 (60%) △ Crux__Claude-Opus-4.6 (25%) △ Ante__Gemini-3.1-Pro-Preview (20%) △ Gemini_CLI__Gemini-3-Flash-Preview (20%)
#6 raman-fittingML/AI 极难
📋 拉曼光谱数据峰型拟合分析
🔧 所需技能: 光谱学、曲线拟合、科学计算
📊 通过: 3/39 (7.7%) 🎯 试验级: 6.7% 🔄 总试验: 119次
7.7%
💡 难点分析: 需要峰型识别（Lorentzian/Gaussian/Voigt）、多峰重叠拟合、基线漂移处理，评测要求高拟合优度。
🔍 3个通过组合全部使用 Claude 系列——Claude 在科学计算推理上优势明显。
✓ Judy__Claude-Opus-4.6 (100%) ✓ MAYA__Claude-4.5-sonnet (100%) ✓ Crux__Claude-Opus-4.6 (75%) △ Forge__Opus-4.6 (40%) △ Ante__Gemini-3.1-Pro-Preview (20%)
#7 sam-cell-segML/AI 极难
📋 使用 SAM 进行细胞图像分割
🔧 所需技能: 计算机视觉、大模型推理
📊 通过: 3/39 (7.7%) 🎯 试验级: 6.7% 🔄 总试验: 119次
7.7%
💡 难点分析: 需加载大型视觉模型（内存密集），细胞分割需特定 prompt 工程，IoU 精度要求高。
🔍 Judy+Gemini-3.1 以 100% 通过，Judy 在大型视觉模型处理上有成熟方案。
✓ Judy__Gemini-3.1-Pro-Preview (100%) ✓ Crux__Claude-Opus-4.6 (60%) ✓ Forge__GPT-5.4 (60%) △ Forge__Gemini-3.1-Pro-Preview (20%)
#8 extract-moves-from-video数据处理 极难
📋 从视频中提取棋类移动信息
🔧 所需技能: 视频处理、CV、OCR
📊 通过: 5/39 (12.8%) 🎯 试验级: 9.2% 🔄 总试验: 120次
12.8%
💡 难点分析: 视频处理+视觉推理的多模态组合，帧质量/光照/噪声影响精度，对纯文本 Agent 天然不利。
🔍 5个组合通过，分布在不同模型——关键在 Agent 的多模态工具调用能力。
✓ Capy__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Mux__Claude-Opus-4.6 (100%) ✓ OpenCode__Claude-Opus-4.5 (100%) ✓ Forge__GPT-5.4 (60%)
#9 video-processing视频/多媒体 极难
📋 视频处理任务（转码/剪辑/滤镜）
🔧 所需技能: ffmpeg、视频编解码
📊 通过: 5/39 (12.8%) 🎯 试验级: 23.8% 🔄 总试验: 122次
12.8%
💡 难点分析: ffmpeg 参数复杂且文档分散，编解码器兼容性问题多。
🔍 Forge 框架3个组合全通过，可能内置了 ffmpeg 调用优化。试验率(23.8%)远高于组合率(12.8%)——不稳定。
✓ Forge__GPT-5.4 (100%) ✓ Forge__Gemini-3.1-Pro-Preview (100%) ✓ Forge__Opus-4.6 (100%) ✓ Judy__Gemini-3.1-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (60%)
#10 gpt2-codegolfML/AI 困难
📋 用最短代码实现 GPT-2 推理
🔧 所需技能: Transformer 架构、代码压缩
📊 通过: 6/39 (15.4%) 🎯 试验级: 13.1% 🔄 总试验: 122次
15.4%
💡 难点分析: 需深入理解 Transformer 每个组件，代码高尔夫极度精简要求，数值精度影响正确性。
🔍 6个组合通过，分布在不同模型——需要深度架构理解+代码压缩技巧。
✓ Droid__GPT-5.3-Codex (100%) ✓ MAYA__Claude-4.5-sonnet (100%) ✓ Forge__Gemini-3.1-Pro-Preview (80%) ✓ Crux__Claude-Opus-4.6 (60%) ✓ Forge__GPT-5.4 (60%)
#11 torch-pipeline-parallelismML/AI 困难
📋 实现 PyTorch 管道并行训练
🔧 所需技能: 分布式训练、微批次调度
📊 通过: 6/38 (15.8%) 🎯 试验级: 16.0% 🔄 总试验: 119次
15.8%
💡 难点分析: 最复杂的并行策略之一，需正确切分层/管理微批次/处理气泡问题。
🔍 6个通过(15.8%)，多种框架各有路径。
✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Forge__GPT-5.4 (100%) ✓ Judy__Claude-Opus-4.6 (100%) ✓ Mux__Claude-Opus-4.6 (100%)
#12 make-mips-interpreter编译/构建 困难
📋 实现 MIPS 汇编语言解释器
🔧 所需技能: CPU 架构、汇编语言、解释器
📊 通过: 7/39 (17.9%) 🎯 试验级: 18.8% 🔄 总试验: 117次
17.9%
💡 难点分析: 需精确实现 MIPS 指令集语义（R/I/J 格式），寄存器/内存/分支等细节和边界情况多。
🔍 7个通过(17.9%)。与 make-doom-for-mips(0%) 对比——纯软件模拟远比交叉编译容易。
✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Judy__Gemini-3.1-Pro-Preview (100%) ✓ Mux__Claude-Opus-4.6 (100%)
#13 dna-assembly科学计算 困难
📋 DNA 序列从头组装
🔧 所需技能: 生物信息学、图算法
📊 通过: 8/39 (20.5%) 🎯 试验级: 23.5% 🔄 总试验: 119次
20.5%
💡 难点分析: 需实现 De Bruijn 图等算法，处理 FASTA 格式，N50 质量评估，重复序列增加复杂度。
🔍 8个通过(20.5%)，方法选择是关键。
✓ Judy__Gemini-3.1-Pro-Preview (100%) ✓ Mux__Claude-Opus-4.6 (100%) ✓ OpenCode__Claude-Opus-4.5 (100%) ✓ OpenSage__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (80%)
#14 mteb-leaderboardML/AI 困难
📋 从 MTEB 排行榜获取/处理数据
🔧 所需技能: Web API、数据解析
📊 通过: 9/39 (23.1%) 🎯 试验级: 21.4% 🔄 总试验: 117次
23.1%
💡 难点分析: 需从动态网页/API 抓取实时数据，数据结构复杂，API 版本可能变化。
🔍 9个通过(23.1%)，MAYA 框架两个 Claude 组合都通过了。
✓ MAYA__Claude-4.5-sonnet (100%) ✓ MAYA__Claude-4.6-opus (100%) ✓ Mux__Claude-Opus-4.6 (100%) ✓ Mux__GPT-5.2 (100%) ✓ Mux__GPT-5.3-Codex (100%)
#15 dna-insert科学计算 困难
📋 DNA 序列特定位置插入操作
🔧 所需技能: 生物信息学、序列编辑
📊 通过: 9/39 (23.1%) 🎯 试验级: 24.8% 🔄 总试验: 121次
23.1%
💡 难点分析: 需精确理解序列索引和编辑操作，可能涉及限制酶切位点识别，插入后完整性校验。
🔍 9个通过(23.1%)，比 dna-assembly 稍高——精确编辑比从头组装略容易。
✓ Droid__Claude-Opus-4.6 (100%) ✓ Judy__Claude-Opus-4.6 (100%) ✓ MAYA__Claude-4.6-opus (100%) ✓ Mux__GPT-5.3-Codex (100%) ✓ OB-1_GPT-5.3-Codex-Claude-Opus-4.5-Claude-Opus-4.6 (100%)
#16 mteb-retrieveML/AI 困难
📋 使用 MTEB 框架做文本检索
🔧 所需技能: 文本嵌入、检索系统
📊 通过: 10/39 (25.6%) 🎯 试验级: 30.8% 🔄 总试验: 120次
25.6%
💡 难点分析: 需正确配置 MTEB 库 API，模型加载有环境依赖，评测指标可能有阈值要求。
🔍 10个通过(25.6%)，比 mteb-leaderboard 略高——直接编程比数据抓取容易。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Forge__GPT-5.4 (100%) ✓ Forge__Gemini-3.1-Pro-Preview (100%) ✓ Forge__Opus-4.6 (100%) ✓ Judy__Gemini-3.1-Pro-Preview (100%)
#17 model-extraction-relu-logitsML/AI 困难
📋 黑盒逆向工程 ReLU 神经网络参数
🔧 所需技能: 对抗性 ML、线性代数
📊 通过: 11/39 (28.2%) 🎯 试验级: 24.4% 🔄 总试验: 119次
28.2%
💡 难点分析: 需利用 ReLU 分段线性性进行数学分析，精确浮点计算，涉及线代+优化+密码分析交叉。
🔍 11个通过(28.2%)，CodeBrain-1 和 Droid 在数学推理上更强。
✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Judy__Claude-Opus-4.6 (100%) ✓ Judy__Gemini-3.1-Pro-Preview (100%) ✓ Mux__GPT-5.3-Codex (100%)
#18 regex-chess编程/算法 困难
📋 用正则表达式实现棋规则验证/棋谱解析
🔧 所需技能: 正则表达式、棋类规则
📊 通过: 12/39 (30.8%) 🎯 试验级: 33.0% 🔄 总试验: 115次
30.8%
💡 难点分析: 正则实现复杂棋逻辑极具挑战，需处理代数记谱法、王车易位、吃过路兵等边界。
🔍 12个通过(30.8%)。与 regex-log(92.3%) 对比——简单正则 vs 复杂正则差距巨大。
✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Forge__Opus-4.6 (100%) ✓ Mux__GPT-5.3-Codex (100%)
#19 torch-tensor-parallelismML/AI 困难
📋 实现 PyTorch 张量并行
🔧 所需技能: 分布式训练、张量分片
📊 通过: 13/39 (33.3%) 🎯 试验级: 35.2% 🔄 总试验: 122次
33.3%
💡 难点分析: 需理解行/列并行策略，正确实现 all-reduce/all-gather 通信。比 pipeline parallelism 更直观。
🔍 13个通过(33.3%)——比 pipeline(15.8%) 高一倍。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Forge__GPT-5.4 (100%) ✓ Forge__Gemini-3.1-Pro-Preview (100%)
#20 db-wal-recovery系统/基础设施 困难
📋 Db Wal Recovery
🔧 所需技能: 系统/基础设施
📊 通过: 14/39 (35.9%) 🎯 试验级: 28.7% 🔄 总试验: 122次
35.9%
💡 难点分析: 较高难度，仅约三分之一完成。
🔍 通过率 35.9%（14/39）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ Crux__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Forge__GPT-5.4 (100%) ✓ Forge__Gemini-3.1-Pro-Preview (100%)
#21 query-optimize其他 中等
📋 Query Optimize
🔧 所需技能: 其他
📊 通过: 16/37 (43.2%) 🎯 试验级: 47.8% 🔄 总试验: 113次
43.2%
💡 难点分析: 较高难度，仅约三分之一完成。
🔍 通过率 43.2%（16/37）。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Forge__GPT-5.4 (100%) ✓ Forge__Gemini-3.1-Pro-Preview (100%) ✓ Judy__Claude-Opus-4.6 (100%)
#22 path-tracing科学计算 中等
📋 实现路径追踪渲染器
🔧 所需技能: 计算机图形学、光线追踪
📊 通过: 17/39 (43.6%) 🎯 试验级: 46.2% 🔄 总试验: 117次
43.6%
💡 难点分析: 需实现光线-物体交叉、BRDF 材质、蒙特卡罗积分，递归反射/折射。
🔍 26个通过(66.7%)，经典项目有大量参考实现。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%)
#23 gcode-to-text编程/算法 中等
📋 Gcode To Text
🔧 所需技能: 编程/算法
📊 通过: 18/39 (46.2%) 🎯 试验级: 35.5% 🔄 总试验: 121次
46.2%
💡 难点分析: 较高难度，仅约三分之一完成。
🔍 通过率 46.2%（18/39）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Forge__Gemini-3.1-Pro-Preview (100%) ✓ Forge__Opus-4.6 (100%)
#24 polyglot-c-py编程/算法 中等
📋 Polyglot C Py
🔧 所需技能: 编程/算法
📊 通过: 18/39 (46.2%) 🎯 试验级: 40.2% 🔄 总试验: 122次
46.2%
💡 难点分析: 较高难度，仅约三分之一完成。
🔍 通过率 46.2%（18/39）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Forge__GPT-5.4 (100%)
#25 polyglot-rust-c编程/算法 中等
📋 Polyglot Rust C
🔧 所需技能: 编程/算法
📊 通过: 18/39 (46.2%) 🎯 试验级: 41.0% 🔄 总试验: 122次
46.2%
💡 难点分析: 较高难度，仅约三分之一完成。
🔍 通过率 46.2%（18/39）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Forge__GPT-5.4 (100%)
#26 path-tracing-reverse科学计算 中等
📋 Path Tracing Reverse
🔧 所需技能: 科学计算
📊 通过: 19/39 (48.7%) 🎯 试验级: 44.3% 🔄 总试验: 122次
48.7%
💡 难点分析: 较高难度，仅约三分之一完成。
🔍 通过率 48.7%（19/39）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Forge__GPT-5.4 (100%)
#27 chess-best-move其他 中等
📋 给定棋局找最佳走法
🔧 所需技能: 象棋引擎、搜索算法
📊 通过: 21/39 (53.8%) 🎯 试验级: 45.1% 🔄 总试验: 122次
53.8%
💡 难点分析: 需集成 Stockfish 或实现 minimax/alpha-beta，棋局评估涉及位置分析和多步前瞻。
🔍 14个通过(35.9%)，关键在于能否成功调用外部引擎。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Forge__GPT-5.4 (100%)
#28 adaptive-rejection-sampler科学计算 中等
📋 实现自适应拒绝采样算法
🔧 所需技能: 统计采样、凸分析
📊 通过: 21/39 (53.8%) 🎯 试验级: 48.8% 🔄 总试验: 121次
53.8%
💡 难点分析: 需正确实现对数凹函数包络线维护，切线/截距计算精度要求高。
🔍 24个通过(61.5%)。
✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Forge__GPT-5.4 (100%) ✓ Forge__Gemini-3.1-Pro-Preview (100%) ✓ Forge__Opus-4.6 (100%)
#29 protein-assembly科学计算 中等
📋 Protein Assembly
🔧 所需技能: 科学计算
📊 通过: 21/39 (53.8%) 🎯 试验级: 57.5% 🔄 总试验: 120次
53.8%
💡 难点分析: 中等难度，约一半组合能完成。
🔍 通过率 53.8%（21/39）。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Deep-Agents__GPT-5.2-Codex (100%) ✓ Droid__GPT-5.3-Codex (100%)
#30 qemu-alpine-ssh系统/基础设施 中等
📋 Qemu Alpine Ssh
🔧 所需技能: 系统/基础设施
📊 通过: 22/39 (56.4%) 🎯 试验级: 52.1% 🔄 总试验: 121次
56.4%
💡 难点分析: 中等难度，约一半组合能完成。
🔍 通过率 56.4%（22/39）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Forge__Gemini-3.1-Pro-Preview (100%) ✓ Forge__Opus-4.6 (100%)
#31 configure-git-webserver系统/基础设施 中等
📋 配置 Git Web 服务器
🔧 所需技能: Web 服务器、Git 服务
📊 通过: 22/39 (56.4%) 🎯 试验级: 60.7% 🔄 总试验: 122次
56.4%
💡 难点分析: Web 服务器+Git 后端双重配置，权限管理和 HTTPS/CGI 细节多。
🔍 15个通过(38.5%)，典型的'会就会'型系统管理任务。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Crux__Claude-Opus-4.6 (100%) ✓ Forge__GPT-5.4 (100%) ✓ Forge__Gemini-3.1-Pro-Preview (100%)
#32 winning-avg-corewars其他 中等
📋 Winning Avg Corewars
🔧 所需技能: 其他
📊 通过: 23/39 (59.0%) 🎯 试验级: 58.7% 🔄 总试验: 121次
59.0%
💡 难点分析: 中等难度，约一半组合能完成。
🔍 通过率 59.0%（23/39）。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Deep-Agents__GPT-5.2-Codex (100%) ✓ Droid__Claude-Opus-4.6 (100%)
#33 extract-elf数据处理 中等
📋 Extract Elf
🔧 所需技能: 数据处理
📊 通过: 23/38 (60.5%) 🎯 试验级: 61.3% 🔄 总试验: 119次
60.5%
💡 难点分析: 中等难度，约一半组合能完成。
🔍 通过率 60.5%（23/38）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Forge__GPT-5.4 (100%) ✓ Forge__Gemini-3.1-Pro-Preview (100%)
#34 write-compressor编程/算法 中等
📋 实现数据压缩算法
🔧 所需技能: 压缩算法、位操作
📊 通过: 24/39 (61.5%) 🎯 试验级: 55.8% 🔄 总试验: 120次
61.5%
💡 难点分析: 需实现 Huffman/LZ77/DEFLATE 等算法，压缩率和解压正确性验证，位级精确操作。
🔍 19个通过(48.7%)——三个 48.7% 标记了一个'能力分界线'。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%)
#35 overfull-hbox科学计算 中等
📋 修复 LaTeX Overfull hbox 警告
🔧 所需技能: LaTeX 排版、调试
📊 通过: 24/38 (63.2%) 🎯 试验级: 58.7% 🔄 总试验: 121次
63.2%
💡 难点分析: 需理解 TeX 断行算法，识别溢出原因，调整 hyphenation 或使用 sloppypar。
🔍 25个通过(64.1%)。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Droid__Claude-Opus-4.6 (100%)
#36 cancel-async-tasks编程/算法 中等
📋 正确取消异步任务
🔧 所需技能: 异步编程、取消令牌
📊 通过: 25/39 (64.1%) 🎯 试验级: 62.0% 🔄 总试验: 121次
64.1%
💡 难点分析: 需实现 CancellationToken 模式，处理取消后资源清理和状态一致性。
🔍 34个通过(87.2%)。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#37 financial-document-processor数据处理 中等
📋 Financial Document Processor
🔧 所需技能: 数据处理
📊 通过: 26/39 (66.7%) 🎯 试验级: 59.8% 🔄 总试验: 122次
66.7%
💡 难点分析: 中等难度，约一半组合能完成。
🔍 通过率 66.7%（26/39）。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Crux__Claude-Opus-4.6 (100%) ✓ Droid__Claude-Opus-4.6 (100%)
#38 mailman其他 中等
📋 配置 GNU Mailman 邮件列表系统
🔧 所需技能: 邮件系统、MTA、遗留系统
📊 通过: 26/39 (66.7%) 🎯 试验级: 62.2% 🔄 总试验: 119次
66.7%
💡 难点分析: 复杂遗留系统需 Postfix/Sendmail 集成，MTA 配置和 DNS 设置，依赖关系多。
🔍 14个通过(35.9%)，表现比预期好。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Deep-Agents__GPT-5.2-Codex (100%)
#39 break-filter-js-from-html编程/算法 中等
📋 绕过 HTML 中 JS 过滤机制
🔧 所需技能: Web 安全、XSS 绕过
📊 通过: 25/37 (67.6%) 🎯 试验级: 64.8% 🔄 总试验: 105次
67.6%
💡 难点分析: 利用编码/事件处理器/DOM 特性绕过过滤。与 filter-js(2.9%) 是镜像任务。
🔍 34个通过(89.7%)——破解比构建容易得多，这对安全社区是重要信号！
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Crux__Claude-Opus-4.6 (100%)
#40 sanitize-git-repo密码/安全 中等
📋 Sanitize Git Repo
🔧 所需技能: 密码/安全
📊 通过: 27/39 (69.2%) 🎯 试验级: 61.2% 🔄 总试验: 121次
69.2%
💡 难点分析: 中等难度，约一半组合能完成。
🔍 通过率 69.2%（27/39）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Crux__Claude-Opus-4.6 (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%)
#41 tune-mjcf科学计算 较易
📋 Tune Mjcf
🔧 所需技能: 科学计算
📊 通过: 28/39 (71.8%) 🎯 试验级: 61.2% 🔄 总试验: 121次
71.8%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 71.8%（28/39）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%) ✓ Forge__GPT-5.4 (100%)
#42 feal-linear-cryptanalysis密码/安全 较易
📋 Feal Linear Cryptanalysis
🔧 所需技能: 密码/安全
📊 通过: 28/39 (71.8%) 🎯 试验级: 65.0% 🔄 总试验: 117次
71.8%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 71.8%（28/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#43 compile-compcert编译/构建 较易
📋 编译构建 CompCert 验证编译器
🔧 所需技能: OCaml、Coq、编译器
📊 通过: 28/39 (71.8%) 🎯 试验级: 66.1% 🔄 总试验: 118次
71.8%
💡 难点分析: 依赖 OCaml 和 Coq 工具链，但'只构建'降低了难度。
🔍 31个通过(79.5%)。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Crux__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%)
#44 schemelike-metacircular-eval编程/算法 较易
📋 Schemelike Metacircular Eval
🔧 所需技能: 编程/算法
📊 通过: 29/39 (74.4%) 🎯 试验级: 66.1% 🔄 总试验: 118次
74.4%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 74.4%（29/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#45 qemu-startup系统/基础设施 较易
📋 Qemu Startup
🔧 所需技能: 系统/基础设施
📊 通过: 29/39 (74.4%) 🎯 试验级: 68.0% 🔄 总试验: 122次
74.4%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 74.4%（29/39）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Deep-Agents__GPT-5.2-Codex (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%)
#46 rstan-to-pystan科学计算 较易
📋 Rstan To Pystan
🔧 所需技能: 科学计算
📊 通过: 30/39 (76.9%) 🎯 试验级: 66.1% 🔄 总试验: 118次
76.9%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 76.9%（30/39）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%)
#47 circuit-fibsqrt科学计算 较易
📋 设计斐波那契平方根电路
🔧 所需技能: 数字电路、HDL
📊 通过: 30/39 (76.9%) 🎯 试验级: 66.4% 🔄 总试验: 116次
76.9%
💡 难点分析: 可能涉及 Verilog/VHDL，定点/浮点运算单元实现。
🔍 29个通过(74.4%)。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Crux__Claude-Opus-4.6 (100%)
#48 build-cython-ext编译/构建 较易
📋 编译构建 Cython 扩展模块
🔧 所需技能: Cython、C 扩展、构建系统
📊 通过: 30/39 (76.9%) 🎯 试验级: 71.1% 🔄 总试验: 121次
76.9%
💡 难点分析: 需正确编写构建配置，处理 C 编译器和头文件路径，GIL 管理。
🔍 24个通过(61.5%)。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Crux__Claude-Opus-4.6 (100%)
#49 largest-eigenval科学计算 较易
📋 计算矩阵最大特征值
🔧 所需技能: 线性代数、数值方法
📊 通过: 30/39 (76.9%) 🎯 试验级: 73.8% 🔄 总试验: 122次
76.9%
💡 难点分析: 需实现幂迭代/QR分解，大矩阵数值稳定性和精度要求。
🔍 27个通过(69.2%)。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#50 count-dataset-tokens数据处理 较易
📋 计算数据集 token 数量
🔧 所需技能: 分词、NLP 基础
📊 通过: 30/39 (76.9%) 🎯 试验级: 76.7% 🔄 总试验: 120次
76.9%
💡 难点分析: 需正确使用特定 tokenizer(BPE/SentencePiece)，大规模数据内存效率。
🔍 28个通过(71.8%)。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Deep-Agents__GPT-5.2-Codex (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%)
#51 pytorch-model-recoveryML/AI 较易
📋 Pytorch Model Recovery
🔧 所需技能: ML/AI
📊 通过: 30/39 (76.9%) 🎯 试验级: 79.7% 🔄 总试验: 118次
76.9%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 76.9%（30/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#52 build-pmars编译/构建 较易
📋 编译构建 pMARS（Core Wars 模拟器）
🔧 所需技能: C 编译、遗留代码
📊 通过: 30/39 (76.9%) 🎯 试验级: 81.1% 🔄 总试验: 122次
76.9%
💡 难点分析: 较老 C 项目可能有编译器兼容性问题，头文件/库路径需手动调整。
🔍 19个通过(48.7%)。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Deep-Agents__GPT-5.2-Codex (100%) ✓ Droid__GPT-5.3-Codex (100%)
#53 sparql-university科学计算 较易
📋 Sparql University
🔧 所需技能: 科学计算
📊 通过: 31/39 (79.5%) 🎯 试验级: 74.6% 🔄 总试验: 122次
79.5%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 79.5%（31/39）。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Crux__Claude-Opus-4.6 (100%)
#54 large-scale-text-editing数据处理 较易
📋 Large Scale Text Editing
🔧 所需技能: 数据处理
📊 通过: 31/39 (79.5%) 🎯 试验级: 76.3% 🔄 总试验: 118次
79.5%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 79.5%（31/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Crux__Claude-Opus-4.6 (100%)
#55 bn-fit-modify科学计算 较易
📋 修改贝叶斯网络拟合参数
🔧 所需技能: 贝叶斯网络、图模型
📊 通过: 32/39 (82.1%) 🎯 试验级: 74.8% 🔄 总试验: 119次
82.1%
💡 难点分析: 需理解 DAG 结构和条件概率表，修改后一致性验证。
🔍 31个通过(79.5%)，修改比从头构建容易。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Crux__Claude-Opus-4.6 (100%)
#56 feal-differential-cryptanalysis密码/安全 较易
📋 Feal Differential Cryptanalysis
🔧 所需技能: 密码/安全
📊 通过: 32/39 (82.1%) 🎯 试验级: 76.5% 🔄 总试验: 119次
82.1%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 82.1%（32/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#57 crack-7z-hash密码/安全 较易
📋 Crack 7Z Hash
🔧 所需技能: 密码/安全
📊 通过: 32/39 (82.1%) 🎯 试验级: 78.7% 🔄 总试验: 122次
82.1%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 82.1%（32/39）。
✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Crux__Claude-Opus-4.6 (100%) ✓ Droid__Claude-Opus-4.6 (100%)
#58 pytorch-model-cliML/AI 较易
📋 Pytorch Model Cli
🔧 所需技能: ML/AI
📊 通过: 32/39 (82.1%) 🎯 试验级: 79.5% 🔄 总试验: 122次
82.1%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 82.1%（32/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Droid__Claude-Opus-4.6 (100%)
#59 openssl-selfsigned-cert系统/基础设施 较易
📋 Openssl Selfsigned Cert
🔧 所需技能: 系统/基础设施
📊 通过: 32/39 (82.1%) 🎯 试验级: 84.4% 🔄 总试验: 122次
82.1%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 82.1%（32/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ Deep-Agents__GPT-5.2-Codex (100%) ✓ Droid__Claude-Opus-4.6 (100%) ✓ Droid__GPT-5.3-Codex (100%)
#60 password-recovery密码/安全 较易
📋 恢复/破解特定格式密码
🔧 所需技能: 密码分析、哈希破解
📊 通过: 33/39 (84.6%) 🎯 试验级: 77.9% 🔄 总试验: 122次
84.6%
💡 难点分析: 需识别哈希/加密方式，选择合适破解策略。
🔍 20个通过(51.3%)，刚过半数。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Droid__Claude-Opus-4.6 (100%)
#61 fix-ocaml-gc其他 较易
📋 Fix Ocaml Gc
🔧 所需技能: 其他
📊 通过: 33/39 (84.6%) 🎯 试验级: 79.8% 🔄 总试验: 119次
84.6%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 84.6%（33/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#62 mcmc-sampling-stanML/AI 较易
📋 Mcmc Sampling Stan
🔧 所需技能: ML/AI
📊 通过: 33/38 (86.8%) 🎯 试验级: 81.7% 🔄 总试验: 120次
86.8%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 86.8%（33/38）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#63 fix-code-vulnerability密码/安全 较易
📋 识别并修复代码安全漏洞
🔧 所需技能: 安全审计、漏洞修复
📊 通过: 34/39 (87.2%) 🎯 试验级: 79.3% 🔄 总试验: 121次
87.2%
💡 难点分析: 需识别 SQL注入/XSS/缓冲区溢出等漏洞类型，修复不能破坏原有功能。
🔍 15个通过(38.5%)，试验率40.5%——模型有基本安全认知但修复稳定性不足。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#64 sqlite-db-truncate系统/基础设施 较易
📋 Sqlite Db Truncate
🔧 所需技能: 系统/基础设施
📊 通过: 34/39 (87.2%) 🎯 试验级: 80.2% 🔄 总试验: 121次
87.2%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 87.2%（34/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#65 llm-inference-batching-schedulerML/AI 较易
📋 Llm Inference Batching Scheduler
🔧 所需技能: ML/AI
📊 通过: 34/39 (87.2%) 🎯 试验级: 80.3% 🔄 总试验: 122次
87.2%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 87.2%（34/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#66 reshard-c4-data数据处理 较易
📋 Reshard C4 Data
🔧 所需技能: 数据处理
📊 通过: 34/39 (87.2%) 🎯 试验级: 80.8% 🔄 总试验: 120次
87.2%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 87.2%（34/39）。
✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Crux__Claude-Opus-4.6 (100%)
#67 hf-model-inferenceML/AI 较易
📋 Hf Model Inference
🔧 所需技能: ML/AI
📊 通过: 34/39 (87.2%) 🎯 试验级: 83.6% 🔄 总试验: 122次
87.2%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 87.2%（34/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#68 kv-store-grpc系统/基础设施 较易
📋 Kv Store Grpc
🔧 所需技能: 系统/基础设施
📊 通过: 34/39 (87.2%) 🎯 试验级: 85.2% 🔄 总试验: 122次
87.2%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 87.2%（34/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#69 pypi-server系统/基础设施 较易
📋 搭建私有 PyPI 包服务器
🔧 所需技能: Python 包管理、Web 服务、DevOps
📊 通过: 35/39 (89.7%) 🎯 试验级: 84.3% 🔄 总试验: 121次
89.7%
💡 难点分析: 需配置上传/下载接口，pip 认证，包索引生成。
🔍 21个通过(53.8%)。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#70 sqlite-with-gcov系统/基础设施 较易
📋 Sqlite With Gcov
🔧 所需技能: 系统/基础设施
📊 通过: 35/39 (89.7%) 🎯 试验级: 86.1% 🔄 总试验: 122次
89.7%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 89.7%（35/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#71 headless-terminal系统/基础设施 较易
📋 Headless Terminal
🔧 所需技能: 系统/基础设施
📊 通过: 35/39 (89.7%) 🎯 试验级: 90.1% 🔄 总试验: 121次
89.7%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 89.7%（35/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#72 log-summary-date-ranges数据处理 较易
📋 Log Summary Date Ranges
🔧 所需技能: 数据处理
📊 通过: 35/39 (89.7%) 🎯 试验级: 91.8% 🔄 总试验: 122次
89.7%
💡 难点分析: 中等偏易，大多数主流组合能完成。
🔍 通过率 89.7%（35/39）。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#73 merge-diff-arc-agi-taskGit 简单
📋 对 ARC-AGI 任务执行差异合并
🔧 所需技能: 模式匹配、格式处理
📊 通过: 36/39 (92.3%) 🎯 试验级: 86.0% 🔄 总试验: 121次
92.3%
💡 难点分析: 需理解 ARC-AGI 格式，正确执行差异计算和合并。
🔍 36个通过(92.3%)——实际是格式化合并而非解决 ARC。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Droid__Claude-Opus-4.6 (100%)
#74 regex-log编程/算法 简单
📋 用正则表达式解析日志
🔧 所需技能: 正则表达式、日志格式
📊 通过: 36/39 (92.3%) 🎯 试验级: 88.4% 🔄 总试验: 121次
92.3%
💡 难点分析: 需针对不同格式编写正则，处理时间戳/多行日志等模式。
🔍 36个通过(92.3%)。与 regex-chess(30.8%) 对比——简单 vs 复杂正则差距巨大。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#75 code-from-image编程/算法 简单
📋 从截图中还原代码
🔧 所需技能: OCR、代码理解
📊 通过: 36/39 (92.3%) 🎯 试验级: 94.2% 🔄 总试验: 120次
92.3%
💡 难点分析: 需从图片准确识别代码文字，处理语法高亮和特殊字符。
🔍 36个通过(92.3%)，多模态模型 OCR+代码能力成熟。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#76 build-pov-ray编译/构建 简单
📋 编译构建 POV-Ray 渲染器
🔧 所需技能: C++ 编译、构建系统
📊 通过: 37/39 (94.9%) 🎯 试验级: 89.2% 🔄 总试验: 120次
94.9%
💡 难点分析: 成熟开源项目有标准构建流程。
🔍 37个通过(94.9%)，构建成熟项目已是基本能力。
✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Crux__Claude-Opus-4.6 (100%)
#78 custom-memory-heap-crash编程/算法 简单
📋 调试自定义内存堆崩溃
🔧 所需技能: 内存管理、C/C++ 调试
📊 通过: 37/39 (94.9%) 🎯 试验级: 93.4% 🔄 总试验: 122次
94.9%
💡 难点分析: 需理解堆数据结构，定位 double-free/use-after-free 等问题。
🔍 37个通过(94.9%)，模式较固定。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#79 cobol-modernization编译/构建 简单
📋 COBOL 遗留代码现代化
🔧 所需技能: COBOL、代码迁移
📊 通过: 37/39 (94.9%) 🎯 试验级: 94.3% 🔄 总试验: 122次
94.9%
💡 难点分析: 需理解 COBOL 列式语法和数据定义，映射到现代语言。
🔍 37个通过(94.9%)，尽管 COBOL 古老，模型训练数据充足。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#80 git-multibranchGit 简单
📋 Git 多分支操作
🔧 所需技能: Git 工作流、冲突解决
📊 通过: 38/39 (97.4%) 🎯 试验级: 91.8% 🔄 总试验: 122次
97.4%
💡 难点分析: 多分支合并策略选择，冲突识别和解决。
🔍 38个通过(97.4%)，基本功。
✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%) ✓ Crux__Claude-Opus-4.6 (100%) ✓ Deep-Agents__GPT-5.2-Codex (100%)
#81 portfolio-optimization科学计算 简单
📋 投资组合优化
🔧 所需技能: 金融工程、优化算法
📊 通过: 38/39 (97.4%) 🎯 试验级: 94.1% 🔄 总试验: 119次
97.4%
💡 难点分析: 实现 Markowitz 模型或类似方法，协方差矩阵估计。
🔍 38个通过(97.4%)，教科书实现丰富。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#82 constraints-scheduling科学计算 简单
📋 约束满足调度优化
🔧 所需技能: 约束优化、OR 方法
📊 通过: 38/39 (97.4%) 🎯 试验级: 95.9% 🔄 总试验: 121次
97.4%
💡 难点分析: 需建模约束条件，可能使用 CP-SAT/ILP 求解器。
🔍 38个通过(97.4%)，OR-Tools 等成熟库让任务标准化。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#83 fix-gitGit 简单
📋 修复损坏的 Git 仓库
🔧 所需技能: Git 内部机制、fsck/reflog
📊 通过: 38/39 (97.4%) 🎯 试验级: 95.9% 🔄 总试验: 122次
97.4%
💡 难点分析: 使用诊断工具定位问题，选择修复策略。
🔍 38个通过(97.4%)，开发者日常任务。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%) ✓ CodeBrain-1__Gemini-3-Pro-Preview (100%)
#84 modernize-scientific-stack科学计算 简单
📋 升级旧版科学计算栈
🔧 所需技能: Python 包管理、API 迁移
📊 通过: 38/39 (97.4%) 🎯 试验级: 97.5% 🔄 总试验: 118次
97.4%
💡 难点分析: 处理 numpy/scipy 等 API 变更和版本差异。
🔍 38个通过(97.4%)，迁移指南丰富。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#85 multi-source-data-merger数据处理 简单
📋 合并多数据源数据
🔧 所需技能: 数据集成、ETL
📊 通过: 38/39 (97.4%) 🎯 试验级: 97.5% 🔄 总试验: 122次
97.4%
💡 难点分析: 处理格式差异、字段映射和去重。
🔍 38个通过(97.4%)，标准 ETL 任务。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#86 vulnerable-secret密码/安全 简单
📋 发现代码中硬编码敏感信息
🔧 所需技能: 安全审计、静态分析
📊 通过: 38/39 (97.4%) 🎯 试验级: 98.3% 🔄 总试验: 121次
97.4%
💡 难点分析: 识别各种格式的 API key/密码/JWT 等。
🔍 38个通过(97.4%)，模式明确工具成熟。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#87 prove-plus-comm定理证明 简单
📋 形式化证明加法交换律
🔧 所需技能: 定理证明、归纳法
📊 通过: 38/39 (97.4%) 🎯 试验级: 99.2% 🔄 总试验: 122次
97.4%
💡 难点分析: 需掌握 Coq/Lean 策略语言。但这是定理证明的 'Hello World'。
🔍 38个通过(97.4%)，试验率 99.2%——各模型烂熟于心。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#88 nginx-request-logging系统/基础设施 简单
📋 配置 Nginx 请求日志
🔧 所需技能: Nginx 配置、日志格式
📊 通过: 39/39 (100.0%) 🎯 试验级: 96.7% 🔄 总试验: 122次
100.0%
💡 难点分析: 配置 access_log 和 log_format 指令。
🔍 39个全通过(100%)！另一个'完美任务'。Web 开发基础中的基础。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)
#89 git-leak-recoveryGit 简单
📋 恢复 Git 泄露敏感数据并清除历史
🔧 所需技能: BFG/filter-branch、历史重写
📊 通过: 39/39 (100.0%) 🎯 试验级: 98.4% 🔄 总试验: 122次
100.0%
💡 难点分析: 使用 BFG 或 filter-branch 重写历史。
🔍 39个全通过(100%)！两个'完美任务'之一。流程标准化极高。
✓ Ante__Gemini-3-Pro-Preview (100%) ✓ Ante__Gemini-3.1-Pro-Preview (100%) ✓ Capy__Claude-Opus-4.6 (100%) ✓ ClaudeCode__GLM-4.7 (100%) ✓ CodeBrain-1__GPT-5.3-Codex (100%)

🗺️ 三、全局热力图

行 = 任务（最难在上）· 列 = Agent+Model（最强在左）· 悬停查看详情

0% 100% 未测试
make-doom-for-mips (0%)
caffe-cifar-10 (3%)
train-fasttext (3%)
filter-js-from-html (3%)
install-windows-3.11 (5%)
raman-fitting (8%)
sam-cell-seg (8%)
extract-moves-from-video (13%)
video-processing (13%)
gpt2-codegolf (15%)
torch-pipeline-parallelism (16%)
make-mips-interpreter (18%)
dna-assembly (21%)
mteb-leaderboard (23%)
dna-insert (23%)
mteb-retrieve (26%)
model-extraction-relu-logits (28%)
regex-chess (31%)
torch-tensor-parallelism (33%)
db-wal-recovery (36%)
query-optimize (43%)
path-tracing (44%)
gcode-to-text (46%)
polyglot-c-py (46%)
polyglot-rust-c (46%)
path-tracing-reverse (49%)
chess-best-move (54%)
adaptive-rejection-sampler (54%)
protein-assembly (54%)
qemu-alpine-ssh (56%)
configure-git-webserver (56%)
winning-avg-corewars (59%)
extract-elf (61%)
write-compressor (62%)
overfull-hbox (63%)
cancel-async-tasks (64%)
financial-document-processor (67%)
mailman (67%)
break-filter-js-from-html (68%)
sanitize-git-repo (69%)
tune-mjcf (72%)
feal-linear-cryptanalysis (72%)
compile-compcert (72%)
schemelike-metacircular-eval (74%)
qemu-startup (74%)
rstan-to-pystan (77%)
circuit-fibsqrt (77%)
build-cython-ext (77%)
largest-eigenval (77%)
count-dataset-tokens (77%)
pytorch-model-recovery (77%)
build-pmars (77%)
sparql-university (79%)
large-scale-text-editing (79%)
bn-fit-modify (82%)
feal-differential-cryptanalysis (82%)
crack-7z-hash (82%)
pytorch-model-cli (82%)
openssl-selfsigned-cert (82%)
password-recovery (85%)
fix-ocaml-gc (85%)
mcmc-sampling-stan (87%)
fix-code-vulnerability (87%)
sqlite-db-truncate (87%)
llm-inference-batching-scheduler (87%)
reshard-c4-data (87%)
hf-model-inference (87%)
kv-store-grpc (87%)
pypi-server (90%)
sqlite-with-gcov (90%)
headless-terminal (90%)
log-summary-date-ranges (90%)
merge-diff-arc-agi-task (92%)
regex-log (92%)
code-from-image (92%)
build-pov-ray (95%)
distribution-search (95%)
custom-memory-heap-crash (95%)
cobol-modernization (95%)
git-multibranch (97%)
portfolio-optimization (97%)
constraints-scheduling (97%)
fix-git (97%)
modernize-scientific-stack (97%)
multi-source-data-merger (97%)
vulnerable-secret (97%)
prove-plus-comm (97%)
nginx-request-logging (100%)
git-leak-recovery (100%)

📂 四、按类别分析

视频/多媒体
12.8%
1 个任务
最难: video-processing (13%)
最易: video-processing (13%)
ML/AI
38.8%
15 个任务
最难: caffe-cifar-10 (3%)
最易: hf-model-inference (87%)
编程/算法
59.9%
12 个任务
最难: filter-js-from-html (3%)
最易: custom-memory-heap-crash (95%)
其他
61.5%
5 个任务
最难: query-optimize (43%)
最易: fix-ocaml-gc (85%)
编译/构建
61.9%
7 个任务
最难: make-doom-for-mips (0%)
最易: build-pov-ray (95%)
科学计算
68.1%
17 个任务
最难: dna-assembly (21%)
最易: constraints-scheduling (97%)
系统/基础设施
71.2%
12 个任务
最难: install-windows-3.11 (5%)
最易: nginx-request-logging (100%)
数据处理
71.3%
8 个任务
最难: extract-moves-from-video (13%)
最易: multi-source-data-merger (97%)
密码/安全
82.1%
7 个任务
最难: sanitize-git-repo (69%)
最易: vulnerable-secret (97%)
Git
96.8%
4 个任务
最难: merge-diff-arc-agi-task (92%)
最易: git-leak-recovery (100%)
定理证明
97.4%
1 个任务
最难: prove-plus-comm (97%)
最易: prove-plus-comm (97%)

🏆 五、Agent+Model 组合排名

#Agent + Model通过总计准确率
1Forge__GPT-5.47589
84.3%
2OB-1_GPT-5.4-GPT-5.3-Codex-Claude-Opus-4.5-Claude-Opus-4.67589
84.3%
3Forge__Opus-4.67489
83.1%
4Judy__Gemini-3.1-Pro-Preview7187
81.6%
5Forge__Gemini-3.1-Pro-Preview7189
79.8%
6OpenSage__GPT-5.3-Codex7088
79.5%
7Droid__GPT-5.3-Codex7089
78.7%
8Terminus-KIRA__Gemini-3.1-Pro-Preview6989
77.5%
9Simple-Codex__GPT-5.3-Codex6889
76.4%
10Terminus-KIRA__Claude-Opus-4.66889
76.4%
11Judy__Claude-Opus-4.66788
76.1%
12Ante__Gemini-3.1-Pro-Preview6789
75.3%
13Capy__Claude-Opus-4.66689
74.2%
14Mux__GPT-5.3-Codex6689
74.2%
15MAYA__Claude-4.6-opus6588
73.9%
16Junie_CLI__Gemini-3-Flash-Preview-Gemini-3.1-Pro-Preview-Claude-Opus-4.6-GPT-5.3-Codex6589
73.0%
17OB-1_GPT-5.3-Codex-Claude-Opus-4.5-Claude-Opus-4.66488
72.7%
18Droid__Claude-Opus-4.66288
70.5%
19CodeBrain-1__GPT-5.3-Codex6289
69.7%
20Deep-Agents__GPT-5.2-Codex6089
67.4%
21Ante__Gemini-3-Pro-Preview5889
65.2%
22Crux__Claude-Opus-4.65889
65.2%
23Mux__Claude-Opus-4.65889
65.2%
24OpenSage__Gemini-3-Pro-Preview5788
64.8%
25Terminus2__GPT-5.3-Codex5689
62.9%
26Mux__GPT-5.25487
62.1%
27CodeBrain-1__Gemini-3-Pro-Preview5589
61.8%
28Terminus2__Claude-Opus-4.65388
60.2%
29Mux__Claude-Opus-4.55289
58.4%
30Terminus2__GLM-54989
55.1%
31OpenCode__Claude-Opus-4.54688
52.3%
32Terminus2__Kimi-k2.53989
43.8%
33Gemini_CLI__Gemini-3-Flash-Preview3888
43.2%
34MAYA__Claude-4.5-sonnet3888
43.2%
35Terminus2__Minimax-m2.53889
42.7%
36Terminus2__DeepSeek-V3.23389
37.1%
37Terminus2__GLM-4.72889
31.5%
38ClaudeCode__GLM-4.72789
30.3%
39dakou__qwen3-coder-480b2589
28.1%

💡 六、核心洞察

📌 总体发现

  • 89 个任务中 1 个全军覆没，17 个通过率超过 90%，呈现明显的两极分化。
  • 最强组合（Forge__GPT-5.4）准确率 84.3%，最弱（dakou__qwen3-coder-480b）仅 28.1%，差距超 56 个百分点。
  • 2 个任务（git-leak-recovery, nginx-request-logging）100% 通过率——所有 39 个组合全部通过。
  • filter-js-from-html(2.9%) vs break-filter-js-from-html(89.7%)：防御远比攻击困难，对安全社区是重要信号。
  • regex-log(92.3%) vs regex-chess(30.8%)：同样是正则表达式，日志解析 vs 棋类验证，难度差距巨大。

🧠 难题的共性特征

  • 跨领域知识融合：最难任务往往需要 2-3 个不同领域的知识组合（MIPS 交叉编译 + Doom 引擎，视频处理 + 棋盘识别等）。
  • 遗留系统/冷门技术栈：Caffe、Mailman、Windows 3.11、COBOL 等旧技术的训练数据稀缺。
  • 环境配置复杂性：很多失败不是算法不对，而是无法正确安装/配置依赖环境。
  • 多模态推理：视频/图像处理任务对纯文本 Agent 天然不利。
  • 精确数值计算：密码分析、光谱拟合、模型参数提取等需要精确计算的任务，LLM 的"模糊推理"不适合。

🔮 对 Agent 发展的启示

  • Agent 框架差异显著：同一模型在不同框架下表现差距巨大。Forge、Judy、MAYA、Droid 等是目前最强框架。
  • 工具使用 > 纯推理：通过率高的 Agent 善于调用外部工具（象棋引擎、编译器、破解工具），而非从零实现。
  • 稳定性是瓶颈：很多任务试验级通过率远高于组合级，说明 Agent "偶尔做对"但缺乏可靠的错误恢复机制。
  • Claude Opus 4.6 在系统管理和科学计算上有独到优势，GPT-5.x 在数学推理上更强，Gemini 在多模态任务上表现好。

📊 有趣的对称与对比

  • make-doom-for-mips(0%) vs make-mips-interpreter(17.9%)：交叉编译 vs 软件模拟，完全不同的难度量级。
  • torch-pipeline-parallelism(15.8%) vs torch-tensor-parallelism(33.3%)：管道并行比张量并行难一倍。
  • dna-assembly(20.5%) vs dna-insert(23.1%)：从头组装比定点编辑略难。
  • caffe-cifar-10(2.6%) vs cobol-modernization(94.9%)：都是遗留技术，但"使用旧工具" vs "离开旧工具"难度天壤之别。
  • prove-plus-comm(97.4%, 试验率99.2%)：形式化证明的 Hello World，已被模型彻底掌握。