为什么重要
SWE-Lancer 的独特价值在于每个任务都有真实的美元定价——从 $50 小 bug 到 $3200+ 的复杂特性开发。还包含管理级别任务:Agent 需要拆分大 Issue 为子任务。
构建方式
- 从 Upwork 收集 1488 个真实付费任务
- 每个任务有明确的美元报酬(反映真实价值)
- 包含 Individual 任务(直接做)和 Manager 任务(拆分后做)
任务示例
$50 任务:“修复 CSS 布局在 Safari 上的兼容性问题” $800 任务:“为 Django 应用添加 OAuth2 社交登录功能” $3200 Manager 任务:“重构整个用户管理模块”(需要先拆分为多个子任务)
关键发现
- 最强模型也只完成约 26%
- 高价值任务($1000+)的完成率远低于低价值任务
- Manager 任务比 Individual 任务更难
关联基准
不足与展望
- Upwork 任务可能有选择偏差
- 美元定价不一定准确反映难度