面向推理大语言模型的熵极性感知决策点数据工程：从轨迹级策展到极性门控精炼

背景与动机

近期研究从根本上重新理解了强化学习（RL）对大语言模型推理能力的作用机制。ReasonMaxxer（arXiv:2605.06241）通过跨多个模型族和RL算法的token级分析发现，RL的收益并非来自”教会模型新策略”，而是稀疏策略选择——仅1-3%的token位置受到影响，且提升的token始终位于基础模型top-5候选之内。这些关键位置集中在高熵决策点（模型不确定选择哪个分支），基础模型自身的熵分布即可在无需RL训练模型的情况下识别这些位置。

与此同时，Entropy Polarity（arXiv:2605.11775）从理论层面揭示了RLVR中熵变化的token级机制——熵极性（entropy polarity），即一个有符号的token级量，预测采样更新是扩张还是收缩熵。该工作进一步发现了结构性不对称：强化高概率token倾向于收缩熵，而扩张熵则需要低概率样本或更强的分布校正。正负极性分支在保持探索与强化利用中起互补作用。

然而，当前训练数据工程范式仍停留在轨迹级粒度——将完整轨迹作为原子策展单位，无论是数据选择（如ADAPT的在线重加权，arXiv:2605.05227）、轨迹蒸馏（如ThinC的代码推理轨迹，arXiv:2605.07237），还是对抗性数据合成（如Seirênes的干扰上下文，arXiv:2605.11636），均未将数据工程的关注点下沉到决策点级别。这意味着：

1. 数据效率瓶颈：大量训练信号被浪费在与RL收益无关的97-99%的token位置上，训练数据的有效信息密度极低。
2. 极性失衡风险：在轨迹级策展中，正极性（探索扩张）和负极性（利用收缩）数据的自然比例可能严重失衡，导致训练中的探索-利用失调，正如DEPT（arXiv:2605.08721）在社交语言博弈中发现的”演化僵局”——策略空间中同质化行为导致梯度信号消失。
3. 课程失效：轨迹级课程学习无法精确控制训练难度进程，因为同一轨迹内可能同时包含极高和极低熵的决策点，粗粒度课程无法实现渐进式精炼。

核心问题：如何将训练数据工程从轨迹级粒度重构为决策点级粒度，并以熵极性作为数据质量的核心门控信号，实现训练数据有效信息密度的数量级提升？

核心思路

提出ENTROPY-POLE（Entropy Polarity-Gated Decision Point Data Engineering）框架，将训练数据工程的基本操作单元从”轨迹”下沉为”决策点”，并以熵极性作为数据质量的门控信号和策展依据。

与现有工作的关键区别：

核心创新在于三个维度的重构：

1. 粒度重构：从轨迹级策展到决策点级精炼——只关注RL真正产生影响的1-3%关键位置。
2. 信号重构：从正确率/奖励到熵极性——以极性作为训练数据质量的一等信号，而非轨迹级结果。
3. 控制重构：从轨迹级课程到极性比例课程——通过动态调整正负极性数据比例实现探索-利用平衡的精确控制。

技术路线

第一阶段：决策点识别与极性标注

输入：基础模型 + 未标注问题集

1. 高熵决策点提取：

   • 对每个问题进行N次基础模型rollout（N=50-100），计算每个token位置的经验熵
   • 识别熵值超过阈值τ_h的token位置为高熵决策点
   • 基于ReasonMaxxer的发现，这些位置即为RL训练中策略选择的关键节点

2. 极性标注：

   • 对每个高熵决策点，基于PAPO的熵极性理论计算其极性：
     • 正极性（P+）：该决策点的采样更新倾向于扩张熵（探索性），对应低概率样本的强化
     • 负极性（P-）：该决策点的采样更新倾向于收缩熵（利用性），对应高概率样本的强化
   • 极性标注无需任何RL训练模型，仅基于基础模型的输出分布即可计算

3. 决策点聚类：

   • 按极性幅度、上下文类型（数学推理/代码推理/工具调用等）、决策拓扑位置对决策点进行层次聚类
   • 构建决策点图谱，刻画决策点之间的因果依赖关系

关键挑战：

• 高熵阈值τ_h的选择需要平衡召回率和精确率
• 极性标注的数值稳定性（对数空间中的小差值放大）
• 长上下文中决策点间因果依赖的准确识别

第二阶段：极性门控数据合成与策展

输入：决策点图谱 + 极性标注

1. 决策点级训练数据合成：

   • 对每个高熵决策点，合成极性定向的上下文变体：
     • P+变体：通过扰动上下文使模型在决策点处更加不确定，增加探索压力
     • P-变体：通过强化正确分支的概率使模型在决策点处更确信，增加利用压力
   • 合成方法借鉴Seirênes的对抗性干扰生成，但将干扰定向于特定决策点而非全轨迹

2. 极性平衡策展：

   • 计算数据池中的全局极性比 R = |P+| / |P-|
   • 基于PAPO的结构性不对称发现（P-自然占优），设定目标极性比 R_target
   • 通过过采样P+变体和欠采样冗余P-变体实现极性平衡

3. 决策点级质量评估：

   • 替代轨迹级评估指标（pass@k, reward），引入决策点级指标：
     • 极性一致性：合成数据的实际极性与标注极性的一致率
     • 信息增益：决策点处的策略分布与基础模型分布的KL散度
     • 极性覆盖度：数据池覆盖的极性幅度范围

关键挑战：

• 决策点级数据合成需保持上下文连贯性，不能破坏非决策点位置的自然分布
• 极性定向扰动的幅度控制——过强破坏语义，过弱无法改变极性
• 决策点级质量指标的校准和验证

第三阶段：极性感知课程学习

输入：极性平衡的决策点级数据池

1. 三阶段课程设计：

   • Phase I（极性锚定）：以P-数据为主（R ≈ 0.3），强化基础模型已具备的正确推理路径
   • Phase II（极性扩展）：逐步增加P+数据比例（R → 1.0），在关键决策点引入探索压力
   • Phase III（极性校准）：动态调整极性比，基于在线熵轨迹信号（借鉴PAPO）实现自适应平衡

2. 在线极性监测：

   • 训练过程中实时监测模型在决策点处的熵变化
   • 当全局熵下降过快（探索不足）时增加P+数据比例
   • 当全局熵上升过快（利用不足）时增加P-数据比例
   • 预防DEPT所发现的”演化僵局”——通过极性监测确保梯度信号不消失

3. 极性门控的训练效率优化：

   • 仅在决策点token位置计算损失（非决策点位置的梯度置零或大幅降权）
   • 理论上可实现30-100×的训练效率提升（仅需处理1-3%的token位置）

关键挑战：

• 课程阶段的转换时机判定
• 在线极性监测的计算开销与延迟
• 决策点级损失计算的工程实现（需修改标准训练框架）

第四阶段：验证与消融

1. 主干实验：

   • 模型规模：1.5B, 7B, 14B, 32B
   • 基准：MATH, GSM8K, Minerva Math, AIME 2025, LiveCodeBench, BFCL v3
   • 对比方法：标准RLVR, ReasonMaxxer, PAPO, Seirênes, ADAPT

2. 消融实验：

   • 粒度消融：轨迹级 vs 决策点级策展
   • 极性消融：有极性门控 vs 无极性门控
   • 课程消融：极性课程 vs 均匀采样 vs 熵课程
   • 阈值消融：τ_h对数据效率和质量的影响

3. 效率分析：

   • 训练FLOPs对比（预期降低1-2个数量级）
   • 数据需求量对比（预期减少5-10×）
   • 极性标注的计算开销分析

预期成果

定量目标

1. 训练效率：在同等推理性能下，训练FLOPs降低至少5×（目标10×），基于仅处理1-3%关键决策点的理论优势
2. 数据效率：训练数据需求量减少3-5×，同时达到或超过标准RLVR的pass@1
3. 极性平衡：训练过程中极性比维持在目标范围（0.5-1.5），避免演化僵局和探索-利用失调
4. 跨任务泛化：在数学推理和代码生成两类任务上均展示有效性，验证决策点级策展的通用性

定性目标

1. 理论贡献：建立”决策点级数据工程”的形式化框架，将ReasonMaxxer的实验发现与PAPO的熵极性理论统一到数据工程视角
2. 方法贡献：提供首个从轨迹级到决策点级数据工程的完整方法论，含极性标注、策展和课程学习三阶段
3. 工程贡献：开源决策点级数据工程工具链，支持从任意基础模型提取决策点并构建极性门控训练数据

可能的影响

1. 范式转变：推动训练数据工程从”轨迹级策展”向”决策点级精炼”的范式转变，大幅提升训练数据的有效信息密度
2. 成本民主化：训练效率的数量级提升使中小团队能够以极低成本复现顶级RL推理训练效果
3. 可解释性：熵极性提供了一种可解释的训练数据质量信号，使训练过程更加透明和可控
4. 与自进化系统的衔接：决策点级数据工程天然适配自进化训练系统（如DataMaster, arXiv:2605.10906），可在自进化循环中以决策点粒度评估和提升数据质量

相关工作

1. ReasonMaxxer: Rethinking RL for LLM Reasoning — It’s Sparse Policy Selection, Not Capability Learning (arXiv:2605.06241) 揭示RL推理改善的本质是1-3%高熵决策点上的稀疏策略选择，为基础模型熵分布识别关键位置提供实验基础。本提案将这一发现从RL优化视角扩展到数据工程视角。

2. Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control (arXiv:2605.11775) 提出熵极性理论，揭示RLVR中token级熵变化的方向性（正/负极性）和结构性不对称。本提案将极性概念从RL优化信号转化为数据质量门控信号。

3. Rethinking Data Curation in LLM Training: Online Reweighting Offers Better Generalization than Offline Methods (arXiv:2605.05227, ICLR 2026) 提出ADAPT在线重加权框架，证明在线数据策展优于离线方法。本提案将在线重加权从样本级扩展到决策点级，并引入极性门控。

4. Seirênes: Adversarial Self-Play with Evolving Distractions for LLM Reasoning (arXiv:2605.11636) 通过对抗性自博弈生成干扰上下文，将上下文干扰转化为内部训练信号。本提案借鉴其干扰生成思路，但将干扰定向于特定决策点，而非全轨迹。

5. Breaking the Impasse: Dual-Scale Evolutionary Policy Training for Social Language Agents (arXiv:2605.08721, ACL 2026) 发现社交语言博弈中的”演化僵局”——同质化策略导致梯度消失。本提案通过极性门控预防训练数据层面的极性坍缩，从数据工程角度解决演化僵局。