Autoresearch：让 AI Agent 替你跑 ML 实验
Karpathy 用 700 次自主实验给 GPT-2 训练提速 11%；Tobi Lütke 一觉醒来 0.8B 模型超越了 1.6B。Autoresearch 方法论正在改变小模型开发的工作方式。
什么叫「把无聊的工作交给 AI」？Karpathy 给出了一个具体的工程答案：给 AI agent 一个训练脚本和一个评估指标，让它自己跑实验，改代码，比较结果，保留有效的修改，丢掉无效的，循环往复。
他把这个系统叫做 autoresearch。
结果是什么
两个早期案例：
Karpathy 自己的 nanochat：两天，约 700 次实验，~20 个真实改进。叠加后，训练到 GPT-2 基准的时间从 2.02 小时缩短到 1.80 小时，提速 11%。
Agent 发现了 Karpathy 本人都没注意到的问题：
- Parameterless QKNorm 缺少 scaler，导致 attention 过于分散
- Value Embeddings 没有施加正则化
- Banded attention window 设置过于保守
- AdamW betas、weight decay schedule、初始化全部次优
Shopify CEO Tobi Lütke：用相同方法训练了一个 query-expansion 模型。晚上睡觉前告诉 AI agent 读 autoresearch repo、构建对应版本、从 GitHub 获取训练数据，去睡觉。8 小时 37 次实验后，0.8B 模型在目标任务上比原来的 1.6B 模型高出 19%。
更小的模型，更好的效果。
为什么能跑起来
几个关键设计约束让系统得以自主运行：
固定的时间预算：每次实验最多 5 分钟。无论 agent 改了什么，结果都是可比的。
单文件 scope：Agent 只能编辑 train.py，数据准备和评估脚本被锁死。这个约束大幅减少了搜索空间，也避免了 agent 通过作弊评估来刷分。
Git 作为记忆：每次实验提交一个 commit。Agent 读 branch history 来规划下一步尝试什么，不需要额外的记忆机制。
二元保留/丢弃：没有人工判断，只看指标有没有提升。Binary keep/discard，无歧义。
约每小时 12 次实验。一个通宵 ≈ 100 次实验。
它适合什么场景
Philipp Schmid 在 How Autoresearch will change Small Language Models adoption 中分析：这套方法特别适合有标注数据或合成数据、需要精细调优 domain-specific 模型的团队。
适合的场景包括：搜索排序、产品分类、临床命名实体识别、欺诈评分、合同提取、意图分类。
关键条件：
- 有训练脚本：agent 能修改的文件
- 有训练数据：人工标注或合成均可
- 有能反映生产表现的评估指标：这是最重要的约束——eval 质量决定了 agent 优化的方向
“When experiments run 100x faster than a human can manage, your eval becomes the bottleneck.” — Philipp Schmid，autoresearch blog
静态 benchmark 会被快速饱和，eval pipeline 需要能从真实生产数据中刷新。
和 GEPA/Prompt Optimizer 的区别
容易混淆：这不是 prompt 优化。
- Prompt 优化（如 GEPA，ICLR 2026）：在冻结模型上优化 prompt，不需要训练，可以直接调用 API
- Autoresearch：优化权重本身，修改训练代码、架构、超参，需要训练基础设施
两个层面可以叠加使用。
这说明了什么
大模型时代的一个隐含假设是：ML 研究和实验需要高度人工参与——想 idea、设计 ablation、看结果、得结论。Autoresearch 挑战的是这个假设的”实验执行”部分。
想 idea 还是人的事，但跑实验这件事 AI agent 跑得比人快 100 倍，而且不会累。
Karpathy 在他的 GPT-2 案例里承认：agent 发现的改进是他自己没注意到的。这不只是”速度更快”，是”找到了人类会错过的优化”。
对于资源有限的团队，这意味着可以用单卡 GPU 做 domain SLM，用 Gemma 之类开源模型作为起点，在一个晚上完成本来需要几周的调优工作。