为什么重要
LLM 微调是连接通用大模型与具体任务需求的关键步骤，但整个流程涉及需求分析、数据调研、策略制定、训练执行和评估迭代，通常需要大量人工经验。FT-Bench 是第一个专门评估 AI 系统自动化完整 LLM 训练生命周期能力的基准，填补了 Agent 在科学工作流自动化方面的评估空白。
核心设计
FT-Bench 包含 10 个任务，均来源于真实世界 LLM 训练场景，从优化模型基础能力（如指令遵循、推理）到增强特定领域任务性能（如代码生成、医疗问答）。配套的 TREX 系统将多轮实验建模为搜索树，通过 Researcher 和 Executor 两个智能体协作完成端到端的训练自动化。
关键发现
在 FT-Bench 上的实验表明，TREX 能够持续优化目标任务性能，验证了树搜索框架在自动化训练中的有效性。但当前 10 个任务的规模仍然有限，随着自动化训练 Agent 的发展，基准本身也需要持续扩展以覆盖更复杂的场景。