研究提案已修订

面向代码推理智能体能力前沿的对抗性问题合成：FrontierSynth 框架

提出能力前沿感知的对抗性问题合成框架，通过分析代码推理智能体的系统性失败模式，自动合成精确打击能力边界的新训练问题，实现问题池与智能体能力的共进化

2026年5月3日代码生成强化学习对抗性数据合成能力前沿自进化训练课程学习问题合成 LLM Agent

背景与动机

代码推理智能体的强化学习训练依赖高质量的问题-测试对作为训练燃料。然而，当前范式面临一个根本性的瓶颈：静态问题池的快速饱和。以 HumanEval、MBPP、LiveCodeBench 为代表的基准数据集规模有限，随着模型能力提升，通过率迅速趋近天花板，导致 RL 训练信号稀疏化。

近期多项工作从不同角度触及了这一问题，但均未给出完整解法：

Agent-World（Dong et al., 2026）展示了环境多样性和自进化轮次对智能体性能的 scaling 效应，但其环境发现模块依赖对已有数据库和工具生态的检索，无法合成全新的推理问题。
CoEvolve（Yang et al., 2026）实现了智能体与数据的互进化，但其数据演化是分布层面的整体调整，缺乏对特定能力缺口的精准打击。
FinePhrase（Niklaus et al., 2026）系统性地揭示了合成数据中格式结构的决定性作用——结构化格式（表格、数学题、FAQ、教程）显著优于自由文本重述，且 1B 参数的生成器已足够——但该发现仅针对预训练数据，尚未被引入 RL 训练数据的设计。
Code-A1（2026）通过对抗性协同演化分离代码 LLM 与测试 LLM，解决了自博弈中的自欺问题，但其演化对象是测试套件而非问题规格本身。
MARS²（Li et al., 2026, ACL 2026）通过多智能体树搜索增强了 RL 的轨迹多样性，但其搜索空间仍受限于静态问题池。

核心矛盾：代码 RL 训练的进步取决于问题池的持续进化，但当前要么依赖人工构造（慢、贵、不可扩展），要么进行无针对性的随机合成（低效、低质）。我们缺少一种能够精确识别智能体能力边界并定向合成训练问题的机制。

核心思路

提出 FrontierSynth——一种能力前沿感知的对抗性问题合成框架。其核心思想是：将问题合成建模为与智能体能力共进化的对抗过程，使训练问题的难度、格式和推理模式始终锚定在智能体的能力前沿（competence frontier）上。

FrontierSynth 由三个紧密耦合的模块构成：

1. 失败模式诊断器（Failure Pattern Diagnoser）

不同于传统的 pass/fail 二值评估，我们对智能体在问题池上的执行轨迹进行细粒度分析：

推理路径聚类：将失败轨迹按错误类型（如边界条件遗漏、算法选择错误、数据结构误用、复杂度爆炸等）进行语义聚类，形成能力缺陷图谱（Capability Defect Map）。
近成功识别：借鉴 Frontier-Eng（Chi et al., 2026）中生成式优化的思想，识别”差一点就通过”的轨迹——这些近成功轨迹标定了能力前沿的精确位置。
难度锚定：通过试错率、修正轮次、轨迹熵等指标量化每个失败模式的难度区间。

2. 结构化问题合成器（Structured Problem Synthesizer）

基于 FinePhrase 的关键发现——结构化格式显著优于自由文本——我们设计了面向代码推理问题的分层结构化规格：

格式层：问题规格采用结构化模板（函数签名 + 输入输出规格 + 约束条件 + 示例），而非自然语言描述，确保合成问题的无歧义性和可验证性。
难度层：通过控制问题复杂度维度（嵌套深度、约束数量、边界条件密度、数据规模）实现难度梯度，精准匹配诊断器输出的难度锚定区间。
变异层：从失败模式出发，通过对种子问题施加定向变异（如注入边界条件、替换算法需求、增加约束维度）生成靶向问题。

关键创新：合成器使用小模型（1B-3B）即可高效生成问题规格，大幅降低合成成本，这与 FinePhrase 的”小生成器足够”发现一致。

3. 对抗性共进化环（Adversarial Co-evolution Loop）

借鉴 Code-A1 的架构分离思想，但将对抗关系从”代码 vs 测试”转移为”智能体 vs 问题合成器”：

智能体因解决问题获得奖励，问题难度越高、奖励越大。
问题合成器因暴露智能体缺陷获得奖励——合成的题目如果被智能体失败解决但确实有解，则合成器获得高分。
引入可解性验证器（基于 MARS² 的多智能体树搜索）：对合成问题进行多路径求解验证，确保问题有唯一解且可被参考实现通过，防止合成器生成无解或歧义问题。

共进化的关键约束：问题合成器的目标不是创造不可解的难题，而是精确锚定在智能体当前能力的边界上——太简单则无训练价值，太难则无学习梯度。

技术路线

阶段一：能力缺陷图谱构建（第 1-2 月）

在标准代码基准（HumanEval+、LiveCodeBench、BigCodeBench）上运行目标代码 LLM，收集完整执行轨迹
设计轨迹分析管线：
- 语法层：提取生成代码的 AST 和执行路径
- 语义层：对失败原因进行分类（编译错误、运行时异常、逻辑错误、超时）
- 推理层：分析 CoT 中的推理链条断裂点
构建能力缺陷图谱的嵌入表示，支持按缺陷类型检索和难度排序

关键技术挑战：如何从稀疏的失败轨迹中提取稳健的失败模式，避免过拟合于个别错误。

阶段二：结构化问题合成器设计（第 2-4 月）

设计代码推理问题的结构化规格语言（Code Problem Specification Language, CPSL），包含：
- 函数接口定义（签名、类型约束）
- 输入输出关系的形式化描述
- 复杂度与约束元数据
- 测试用例生成规则
基于小模型（1B-3B 参数）训练问题合成器：
- 以能力缺陷图谱为条件输入
- 以结构化格式为输出约束
- 以可解性为质量过滤标准
实现定向变异算子库：
- 边界注入：添加边界值测试条件
- 约束叠加：增加额外约束维度
- 算法替换：改变问题所需的算法策略
- 复杂度提升：增加嵌套层次或数据规模

关键技术挑战：如何确保合成问题的可解性和唯一解性，同时保持足够的多样性和靶向性。

阶段三：对抗性共进化训练（第 4-6 月）

实现双模型对抗训练框架：
- 代码 LLM（策略模型）和问题合成器（对抗模型）分别优化
- 可解性验证器作为共享裁判
设计共进化奖励函数：
- 智能体奖励： $R_{agent} = \sum_i w(d_i) \cdot \mathbb{1}[solve(q_i)]$ ，其中 $w(d_i)$ 为难度加权
- 合成器奖励： $R_{synth} = \sum_j \mathbb{1}[valid(q_j)] \cdot \mathbb{1}[\neg solve(q_j)] \cdot proximity(q_j, frontier)$
- proximity 函数确保合成问题锚定在能力前沿附近
实现多轮共进化循环，每轮包括：诊断 → 合成 → 验证 → 训练 → 重新评估

关键技术挑战：防止合成器-智能体之间的”合谋”（如合成器学习生成智能体已会做的简单题）和”对抗过激”（如合成器生成超出前沿的难题），需要精心设计奖励塑形。

阶段四：实验验证与 Scaling 分析（第 6-8 月）

基准对比：
- 对比静态问题池 RL（标准 GRPO/DPO）
- 对比随机问题合成增强
- 对比 CoEvolve 式数据演化
- 对比 Agent-World 式环境发现
模型规模：7B、14B、32B 三档
评估基准：HumanEval+、LiveCodeBench、BigCodeBench、Frontier-Eng（工程任务）
Scaling 分析：
- 问题池大小 scaling
- 共进化轮次 scaling
- 缺陷图谱粒度 scaling

预期成果

定量目标

在 LiveCodeBench 上，相比静态问题池 RL 训练，pass@1 提升 8-15%（绝对值）
合成问题的可解率（有唯一正确解）≥ 90%
合成问题对智能体能力前沿的命中率（被近成功解决的比率）≥ 40%
问题合成成本相比使用大模型（70B+）生成降低 10x+

定性目标

构建首个能力前沿感知的代码问题合成框架，填补”问题规格演化”与”测试套件演化”之间的空白
验证 FinePhrase 的结构化格式优势从预训练数据迁移至 RL 训练数据
建立能力缺陷图谱的形式化表示和量化体系
开源合成框架、CPSL 规格语言和示例问题池

可能的影响

对代码智能体训练：突破静态问题池的饱和瓶颈，为代码 RL 提供持续进化的训练燃料
对自进化智能体：提供一种”自诊断→自合成→自训练”的闭环范式，推动智能体从被动训练走向主动学习
对数据工程：将结构化格式设计从预训练推广至 RL 训练数据，开辟”格式感知的数据工程”新方向
对 AI for Science：能力前沿感知的问题合成思想可迁移至数学证明、科学推理等领域