研究提案 已修订

轨迹损失掩码的按内容类型分层分配：观测监督预算应记在 token 数上还是监督信号上

ActObs 用单一标量 λ 加权全部观测 token，而轮次级依赖 DAG 裁剪按「对最终答案是否承重」删轮次；两者改的是同一条 token 流，记账单位却都是 token 数。本文提出 TOMA 框架，把分配粒度升到内容类型向量、把裁剪的记账单位换成监督信号，并给出四条可证伪预测。

智能体训练数据 损失掩码 观测监督 轨迹裁剪 监督信号记账 GRPO 初始化 数据工程 可证伪预测

轨迹损失掩码的按内容类型分层分配：观测监督预算应记在 token 数上还是监督信号上

背景与动机

Agent 轨迹 SFT 的教科书约定是只对 agent 自己写出的动作 token 加损失，环境观测留在上下文里当条件、不当预测目标。ActObs（arXiv:2609.20715）改动了这条约定：把观测 token 一并纳入损失，目标从「模仿专家」扩成「模仿专家 + 预测后果」。它的语料是 Nemotron-Terminal-Corpus 合成部分的 50k 条多轮终端轨迹、0.71B token，观测 token 约占语料 45%，Qwen3-4B 与 8B 各训 1 epoch，随后在同一套 GRPO 配方（Endless Terminals 2,392 个容器化任务、16 rollouts/任务、二值验证器）下比较。SFT 端点两种方法读数接近，GRPO 之后才分开：4B 上 ActObs 在 pass@1/4/8/16 领先 1.6/1.4/1.5/1.1 个百分点，8B 上到 pass@16 领先 3.4 个百分点，任务覆盖从 21 涨到 24。

ActObs 分配这笔监督预算的方式是一个标量 λ：

Lλ(θ)=−∑i∈Alog⁡pθ(yi∣y<i)+λ∑i∈Olog⁡pθ(yi∣y<i)∣A∣+λ∣O∣\mathcal{L}_{\lambda}(\theta)=-\frac{\sum_{i\in\mathcal{A}}\log p_{\theta}(y_{i}\mid y_{<i})+\lambda\sum_{i\in\mathcal{O}}\log p_{\theta}(y_{i}\mid y_{<i})}{|\mathcal{A}|+\lambda|\mathcal{O}|}

同一个 λ 乘在全部观测 token 上。论文自己却在 §5.2 给出了反对这种均匀性的证据：每条终端观测都以固定包裹串 New Terminal Output: 开头，这个短前缀「占据观测的前几个位置」，是「一个异常容易的预测目标，必须与可变的终端载荷区分开」；Figure 6(c) 按内容类型分组后显示，shell prompts、error lines 与其他 payload 三类上的改进幅度并不相同，而 ActionSFT 在序列大部分位置上比基座更差。测量分辨率已经到了内容类型，分配分辨率还停在全局标量。

第二个错位来自轨迹裁剪。arXiv:2609.18417 把多轮轨迹重铸为轮次级依赖 DAG，用三种确定性编辑删轮次：L1 删出度为 0 的叶节点，L2 合并同父同母的独立兄弟轮次，L3 放宽合并条件，后缀 a 表示再过一遍 LLM 改写。被删的三类轮次在摘要里点名为 failed tool calls、parallel sub-queries、verification-only steps。L1 在四个多模态 QA 基准上拿到 50.04% 平均准确率、比 vanilla SFT 高 1.7 个百分点；L2a 在 vanilla-SFT 精度持平的前提下把每样本推理 token 砍掉约 48%（表 1 的训练集侧只减 16.57%）。

这两处工作改的是同一条 token 流，各自的准则却都看不见对方的目标。裁剪的判据是「该轮次对最终答案是否承重」，ActObs 的目标 p(o_t | h_t, a_t) 是逐步的、与答案无关的后果预测。一次失败的工具调用对最终答案不承重，它的 error line 却正是动作—后果映射信息最密的样本。 反过来，ActObs 把轨迹内容当作给定输入，λ 只调权重、不动内容，于是它对「上游裁剪已经删掉了什么」完全没有接口。

第三处证据说明粒度不是细节而是主效应。arXiv:2609.20027 在同一批 subliminal learning 数据上对比两种过滤粒度：sample 级整条丢、token 级只把 loss mask 掉。结论是「Filtering entire samples is less effective for every method」，只有 EK-FAC 的 token 级过滤能压住相当一部分效应。轮次级裁剪比 sample 级更靠近粗的一端，它肯定不在 token 级。

于是核心问题可以写成一句话：观测监督的预算记在 token 数上，价值记在每个 token 携带的监督信号上，两者不成比例，而现有流水线只记前者。

核心思路

提出 TOMA（Token-wise Observation Mask Allocation），把 Eq. 1 的标量 λ 换成按观测内容类型的权重向量 ω = (ω_1, …, ω_C)，并让裁剪算子与监督算子共用一张账本。

设观测 token 分为 C 类，第 c 类的 token 数为 n_c、相对基座模型的每 token 交叉熵改进为 Δ_c（沿用 ActObs §5.2 的 teacher-forcing 协议，在 held-out 轨迹上测）。定义总观测监督信号 S = Σ_c n_c Δ_c 与观测 token 数 N_O = Σ_c n_c。ActObs 的记账只用 N_O：它报告「观测 token 约占 45%」，并把 λ 均匀铺在这 45% 上。TOMA 的记账用 S。

裁剪侧的核心不等式（本文推算，非上游报告值）：设裁剪在第 c 类上的删除率为 ρ_c，则裁剪后

S′S=∑cnc(1−ρc)Δc∑cncΔc,NO′NO=∑cnc(1−ρc)∑cnc\frac{S'}{S}=\frac{\sum_{c}n_{c}(1-\rho_{c})\Delta_{c}}{\sum_{c}n_{c}\Delta_{c}},\qquad \frac{N'_{O}}{N_{O}}=\frac{\sum_{c}n_{c}(1-\rho_{c})}{\sum_{c}n_{c}}

当 ρ_c ≡ ρ 时两式相等，信号与 token 同比例流失。当 ρ 与 Δ 正相关（裁判决据偏向删掉高信号类）时 S’/S < N’_O/N_O：token 数减半，信号损失不止一半。这就是「50% 的推理 token 可以无损删掉」这一结论最需要被复核的地方——它是在 SFT 端点精度上测的，而 ActObs 已经证明 SFT 端点精度恰好对观测监督这一轴不敏感：λ 从 0 扫到 1，SFT 的 pass@1 从 9.2 变到 7.9，GRPO 后的 pass@8 却从 21.0 单调涨到 23.6（表 6）。一个在 SFT 端点上判「精度持平」的仪器，对观测 token 的组成变化反应迟钝。

分配侧的对应主张：ActObs 的 λ 扫描是一条一维曲线。取可观测对 (Δ cmd margin, post-GRPO pass@8)，四个已测点是 (0, 21.0)、(−0.29, 21.3)、(−0.35, 22.5)、(−0.48, 23.6)。这条一维族内不存在让两者一并变好的点。

把 ω 升为向量后可行域从一条曲线升为 C 维单纯形，只要存在某一类其「后果建模边际贡献 / 动作分布平坦化边际贡献」之比显著高于其他类，就存在严格 Pareto 改进。判据是：分层分配得到的点是否落在这条 λ 曲线的上方。落在曲线上即证伪。

与三者的区别：相对 ActObs，TOMA 不改数据、不加参数，只把分配粒度从标量升到向量，并补上被删轮次的信号账；相对 arXiv:2609.18417，TOMA 把裁剪的记账单位从 token 数换成监督信号，并要求裁剪在 RL 后端点而非 SFT 端点上结算；相对 arXiv:2609.20027，TOMA 把 token 级 loss mask 从「安全过滤」迁到「能力初始化」，考察的目标量从行为 Trait 换成 pass@8。

技术路线

第一步，建观测 token 类型账本。 在终端语料上做确定性分类，不需要裁判模型：包裹串 New Terminal Output: 是固定前缀，shell prompt 以 $/# 结尾，error line 匹配 Traceback|No such file|command not found|permission denied 等模式，其余归 payload。输出每张表的 (n_c, f_c, Δ_c)。Δ_c 用 ActObs 已有的协议测：冻结检查点，在 held-out 轨迹上 teacher-forcing 打分，报相对基座的交叉熵下降。这一步的额外成本只有一次前向。

第二步，分层权重与退化点。 损失改为

Lω(θ)=−∑i∈Alog⁡pθ(yi∣y<i)+∑cωc∑i∈Oclog⁡pθ(yi∣y<i)∣A∣+∑cωc∣Oc∣\mathcal{L}_{\omega}(\theta)=-\frac{\sum_{i\in\mathcal{A}}\log p_{\theta}(y_i\mid y_{<i})+\sum_{c}\omega_{c}\sum_{i\in\mathcal{O}_{c}}\log p_{\theta}(y_i\mid y_{<i})}{|\mathcal{A}|+\sum_{c}\omega_{c}|\mathcal{O}_{c}|}

固定动作项系数为 1，只扫相对比。ω_c ≡ λ 时严格退化为 ActObs 的 Eq. 1，这是结构性退化点：在 ω 全等的配置上测到与 λ=1 的差异，等于实现错误。

第三步，单类效率前沿。 对每个类分别做只调 ω_c 的扫描，取边际效率 e_c = Δpass@8 / |Δ margin|。预测 e_wrapper 最低、e_error 最高。若各类 e_c 的置信区间互相覆盖，内容类型不是有效轴，假设证伪，改用无域知识的代理量——按基座模型每 token NLL 分箱，这个轴不依赖任何终端格式假设，可迁移到 web 与 GUI 观测。

第四步，裁剪 × 监督联合记账。 把 L1/L2 的编辑作用到账本上，逐轮次记录被删观测 token 的类别与 Δ 贡献，直接算 S’/S 与 N’_O/N_O 的比值。语料是容器化的，验证器可执行，这一步不需要裁判模型。

第五步，三臂对照。 A 臂为原 ActObs（ω ≡ 1，不裁剪）；B 臂为先 L2a 裁剪再 ActObs；C 臂为 TOMA 分层权重加按 Δ 保留的裁剪，token 预算与 B 臂对齐。三臂共享同一 GRPO 配方与 16 attempts 评测预算。

关键技术挑战有四处。Eq. 1 的分母含 Σ_c ω_c|𝒪_c|，分层权重在分母里自我抵消，必须固定动作项系数才能解释扫描结果。ActObs 表 6 的中段两个点用 8 attempts 估计、端点用 16 attempts，pass@8 方差不一致，前沿比较前需统一到 16 attempts 重跑。L2a 的改写会动 assistant 轮次，裁剪与改写的效应纠缠，需加「只删观测轮次、不动动作轮次」的消融臂。ActObs 局限节自陈语料「contain only the consequence realized after each teacher action」，每个 (h, a) 只有一条已实现后果，后果模型无法区分「动作决定后果」与「环境自身演化」；缓解办法是对同一前缀在容器里重跑取观测分布，先测环境本身的确定性。

预期成果

定量目标有两条，取其一即算达成：在 Δ cmd margin 不劣于 λ=1 的 −0.48 的约束下，把 post-GRPO pass@8 从 23.6 提到 24.6 以上；或在 pass@8 不低于 23.0 的约束下，把 Δ margin 从 −0.48 回收到 −0.30 以内，即回收约 0.18。定性目标是把「观测监督预算」从 token 计数升级为信号计数，并给出一张可复用的内容类型账本。

四条可证伪预测：

  1. C 臂的 (margin, pass@8) 点落在 λ 一维曲线上方超过 0.5 个百分点。落在曲线上说明内容类型不是有效分配轴。
  2. 单类效率排序满足 e_wrapper < e_payload < e_error。若 e_wrapper 与 e_error 不可区分，分层无收益。
  3. L1/L2 裁剪下 S’/S < N’_O/N_O，且差值在 bootstrap 95% 区间内不覆盖 0。若两式相等，说明裁剪对高信号类是中性的，本提案的裁剪侧主张不成立。
  4. B 臂相对 A 臂的 pass@8 优势收窄，收窄幅度与 S’/S 单调相关。若 B 臂反超 A 臂，被删轮次确属冗余。

若达成，影响面是：为「先裁剪再训练」这条默认流水线补上一个 RL 后端点的结算口径，并给出一个零额外算力的监督预算重分配旋钮——λ 扫描已经证明这个旋钮存在收益，分层只是把它从一维扩到多维。

局限性与失效模式

一，内容类型轴的可迁移性未经检验。 第一步的分类器依赖终端语料的格式约定：包裹串 New Terminal Output: 是终端轨迹的产物，shell prompt 的 $/# 结尾、error line 的 Traceback|No such file|command not found|permission denied 模式同样如此。换到 web 浏览或 GUI 观测，这三类要么不存在要么需要重定义。本文在第三步给出的退路是按基座每 token NLL 分箱，这个轴不依赖格式假设，但它与 Δ 的相关性没有任何上游证据，属于备选而非兜底。

二，Δ 是 teacher-forcing 下的代理量，不是 RL 后端点的目标量。 整个框架把「观测监督信号」定义为相对基座的交叉熵改进，测得的场合是冻结检查点在 held-out 轨迹上的前向打分。ActObs 自己的证据恰好说明 SFT 端点读数与 RL 后端点读数会分离：λ 扫描里 SFT 的 pass@1 随 λ 上升而下降，GRPO 后的 pass@8 反而单调上升。若 Δ 与 post-GRPO pass@8 的相关性弱，按 Δ 分配的权重就是把预算投在了一个对目标不敏感的轴上。预测 2 的证伪条件正是为此设的，但它只能在实验跑完之后才判得出，无法事前规避。

三，单类效率 e_c 的估计噪声可能吞掉效应。 表 6 的 pass@8 端点标准误是 ±1.1，而定量目标要求的是 +1.0 个百分点的改进。若不统一到 16 attempts 重跑并把每类扫描的样本量提上去，e_c 的置信区间几乎必然互相覆盖，届时无法区分「内容类型不是有效轴」与「测量分辨率不够」。这是本提案最可能的失败方式，不是理论缺陷而是算力预算问题。

四，裁剪侧的 S’/S 只覆盖被删 token，不覆盖被改写 token。 L2a 的 LLM 改写会重写保留下来的轮次，改写前后同一 token 的 Δ 并不相同，而账本只在删除侧记账。第四步若不把改写也纳入（至少加一个「改写前后 Δ 分布是否位移」的检查），S’/S 会系统性高估保留下来的信号。

五，环境非确定性会稀释动作—后果映射。 ActObs 局限节自陈语料「contain only the consequence realized after each teacher action」，每个 (h, a) 只有一条已实现后果。终端环境里重跑同一命令的观测分布若是宽的，p(o | h, a) 本身的上界就低，error line 的高 Δ 可能部分来自「错误是确定性的」而非「错误信息量大」。第五步要求先测环境本身的确定性再谈分层收益，若该分布过宽，预测 2 的排序仍可能成立但归因会错。

相关工作

  1. ActObs / Don’t Mask the Environment，Juzheng Zhang 等 5 人（University of Maryland、AWS AI Labs），2026-09-17，https://arxiv.org/abs/2609.20715
  2. Dependency-Aware Trajectory Refinement for Efficient Multi-Turn Agent Fine-Tuning，Zhuo Chen、Zhen Zhang 等 4 人（ShanghaiTech），2026-09-16，https://arxiv.org/abs/2609.18417
  1. GraphEcho: Structural Redundancy and Evidence Provenance in LLM Graph Agents，4 人，2026-09-15，https://arxiv.org/abs/2609.17695
  2. Can Data Attribution Filter Out Subliminal Learning? Not Reliably，8 人，2026-09-17，https://arxiv.org/abs/2609.20027
  3. What Does Privileged Information Add to On-Policy Self-Distillation?，5 人，2026-09-17，https://arxiv.org/abs/2609.20612

第 3 条给本提案的裁剪侧担忧提供了同构实测：Provenance-aware post-training 减少了重复访问、在合成数据上准确率上升，却「covers fewer distinct sources」，到科学主张上重复继续下降而准确率下滑——削减冗余付出了覆盖代价。第 5 条是反向约束：它构造了 5,319 题、六个共享答案的推理视图，发现「changing token-level supervision can leave student behavior largely unchanged」，提醒分层权重未必能传导到行为层，这也是预测 2 存在的理由。

关联内容

研究 ⬆️ 前置
精读：Don't Mask the Environment 与被 mask 掉的环境观察
agent 轨迹里约 45% 的 token 是环境回显，标准 SFT 把它们留在上下文却排除在损失之外。论文只改一行掩码就让它们重新成为预测目标，零额外成本地为后续 GRPO 换一个更好的起点。
研究 🔗 相关
驱逐密度感知的 Agent 轨迹预算分配：上下文压缩下探索信号与梯度偏置的联合优化
针对长程 Agent 强化学习中上下文驱逐造成的训练-部署条件失配，提出以驱逐密度为一等统计量对 rollout 预算做分层分配的 EDGE 框架，把探索信号的梯度可得率与压缩偏置率放进同一个目标函数联合优化
研究 🔗 相关
精读：TrimSFT —— 只让「中间那一段置信度」的 token 参与 SFT
TrimSFT 用 gold token 与最强竞争者的 logit gap 做高斯带通加权，剪掉已掌握与学不会的两端；本专栏按题量与论文自身消融列重算，发现相对最强基线 DFT 的领先幅度小于论文的噪声地板，而机制解释与其附录数据脱钩