把技能效用从自我描述中剥离：面向智能体强化学习技能信用分配的留痕评分与可标定门控

背景与动机

SkillScaffold（arXiv:2610.18807，v1 2026-10-13，浙江大学与快手科技，cs.LG）用一个共享策略承担两个角色：Executor 采集 $N$ 条无技能 Scout 轨迹，Generator 从结果标注的 Scout 生成 $M$ 张候选技能卡。技能效用不靠环境 rollout 估计，而用同一策略在「有技能」与「无技能」两种上下文下对同一批 Scout token 的平均对数似然差 $d(s,\tau)=\ell_\theta(s;\tau)-\ell_\theta(\varnothing;\tau)$ 聚合而成，只在 $\max_j U_j>0$ 时把冠军技能注入下一轮 Executor。四个基准上 Qwen3-8B 拿到 ALFWorld 94.8、WebShop 45.1、ScienceWorld 77.1、$\tau^2$-Bench 63.4，且推理期完全去掉技能通路。

用似然比替换 rollout 这一步的动机是扎实的。论文自己的先导实验显示，rollout 法在 $K=1$ 时两次独立估计的符号不一致率为 23%，加到 $K=8$ 仍只降到 16%，非并列候选组占比从 32%（5 次/查询）升到 55%（40 次/查询）。

⚠️ 口径补充（2026-10-17 回源）：23% / 16% 这两个数不是全部候选–查询对的不一致率。原文逐字写 “we form two independent estimates of $U_{\mathrm{DR}}$ and record a sign disagreement when both are non-zero but have opposite signs”——两次估计中只要有一次为零（即 rollout 上完全没拿到信号），该对就被排除在分母之外。在稀疏结果奖励下大量的零估计意味着真实的不一致率分母被显著缩小。这个限定对本提案有两重意义：① 用它当”rollout 法不稳”的证据时，应说明是真子集上的率；② HUC 第二步估计 $\hat\varepsilon$ 时不能用 16% 当门槛硬套，必须先声明自己的 $\sigma$ 是怎么数分母的。

代价换来的是一个三条通道混在一起的标量：语义兼容会抬高 $d$，往上下文里塞任何文本引起的通用扰动也会抬高 $d$，技能复述它自己据以生成的那条轨迹同样抬高 $d$。SkillScaffold 没有分离这三者，全部证据如下。

生成证据与评分轨迹是同一批。 Group 变体把全部结果标注 Scout 交给 Generator 构造证据 $E_x^v$；anchor 变体（WebShop 线上使用，附录 D.3 逐字写 “uses the anchor-based variant and its actual successful Scout as Generator evidence”）取 $a_x=\min\mathcal{S}_x$，把整条成功 Scout 作为证据，效用 $U^{\rm anc}(s;x)=d(s,\tau^0_{a_x})$ 又在这同一条轨迹上计算。全文 “held-out” 只出现在基准划分（WebShop 的 OOD 类目、ScienceWorld 的测试变体），没有任何一处指评分轨迹的留痕。

禁止复述只写在提示词里，而且是三处。 附录 A.4 规定候选 “express reusable decision guidance rather than copy task-specific answers”；附录 A.5 的诊断协议里对 τ² 的 retail 域写 “Never reveal or copy task-specific entities”；生成提示词的输出纪律段还写 “Do not mention trajectories, outcome labels, rewards, demonstrations, or this prompt in the card”。三处全是提示词，零处是程序化校验——格式合法性与有限性是仅有的两道过滤。placebo、paraphrase、Jaccard 在全文（含参考文献与附录）命中数均为 0；verbatim 同样为 0（订正：verbatim 在 τ²/retail 域的语义角色指令中出现一次，“Keep them verbatim and never add a concrete example or subtype”，但那是要求语义角色标签原样保留，与”禁止复述轨迹”不是一回事，因此本条的实质结论不变，只是不能再写成”零命中”）。一张把 $\tau_{a_x}$ 的动作序列改写成技能卡的候选，会被无差别地打分、排序、注入。

符号检验对通用扰动不可辨识。 全失败分支取 $U=-\frac{1}{|\mathcal{F}_x|}\sum_{i\in\mathcal{F}_x}d(s,\tau_i^0)$。一张把上下文搅乱、普遍压低每 token 似然的技能在这里拿到正值并获准注入。表 3 的 “Shuffled utility” 只打乱候选与效用的配对关系，检验的是配对而非内容——该消融的实际读数是 ALFWorld 94.8 → 82.8、WebShop 45.1 → 37.1，即效用信号确实携带信息，但这与”对照候选从未进过池子”是两件事；内容为空的对照候选从头到尾没进过池子。

理论在部署点上是空的。 附录 C.3 的假设 1 给出 $G(s;x)\ge aU-b$（$a>0$，$b\ge0$），命题 3 给出门限 $t$ 下的保证 $G>a(t-\varepsilon)-b$，并自陈 “Our experiments use $t=0$“。把 $t=0$ 代回，保证变成 $G>-a\varepsilon-b\le0$。论文自己写的非负保证充分条件是 $t\ge\varepsilon+b/a$，而 $\varepsilon$、$a$、$b$ 三个量全篇没有一次实测。先导实验用符号不一致率否决了 rollout 法，却没用同一把尺子量自己的代理量。

两处统计支撑也需要加固：主表 1、表 2 无 seed、无误差棒（全篇只有表 4 的内化恢复值带 95% bootstrap 区间——该项的样本量已回源：WebShop $N=19$、ALFWorld $N=54$、ScienceWorld $N=50$、τ²-Bench $N=98$，区间为查询级 bootstrap）；图 5(a) 四条决策规则给出 61.8%、60.1%、63.0%、67.6%，其查询池是先导研究的 100 个查询，按独立二项算，门控相对无技能的 +5.8pp 约合 0.86 个标准误（SE≈6.75pp），配对检验未报告。

⚠️ 待回源（2026-10-17 标注）：图 5(a) 的查询池规模论文未逐字刊出。§5.4 明确写了”100 个查询”的是先导子集（“Among 100 queries, 28 contain both positive- and negative-effect candidates”），图 5(a) 只说 “applies four decision rules to the same candidate sets”。本提案沿用 $n=100$ 做 SE 估算，但该等同关系未获原文确认；若两者不是同一池，0.86 SE 这个数不能作为决策依据，只作量级示意。

核心思路

提出 HUC（Held-out Utility Calibration，留痕效用标定），把单一效用标量拆成可审计的三通道账单，并把门控从固定零点换成标定阈值。三件事：

证据—评分分离。 把 $N$ 条 Scout 切成互不相交的生成集 $E$ 与评分集 $H$。技能从 $E$ 生成，效用只在 $H$ 上计算，得 $U^{\rm ho}$；同一候选再在 $E$ 上算一次 $U^{\rm in}$。两者之差 $\Lambda=U^{\rm in}-U^{\rm ho}$ 即泄漏间隙。选择与门控一律用 $U^{\rm ho}$。

三支对照候选进入同一候选池。 $s^{\rm null}$ 格式合规、程序段空洞；$s^{\rm swap}$ 取自同批另一查询的真实技能卡；$s^{\rm trans}$ 把 $E$ 中那条成功 Scout 的动作序列逐字写成技能卡。三支与真实候选同池竞争，被选中即记账。$U(s^{\rm trans})$ 是泄漏上限，$U(s^{\rm null})$ 是通用扰动基线，$U(s^{\rm swap})$ 是去语义化基线。

门控阈值化。 在校准集上用独立 rollout 量出下游增益 $\hat G$，分位回归估计 $a$、$b$；用双半 Scout 估计 $\hat\varepsilon$；取 $t^\ast\ge\hat\varepsilon+\hat b/\hat a$。把「注入精度」（被注入技能中 $\hat G>0$ 的比例）提升为主结果，与成功率并列刊出。

与 SkillScaffold 的关键区别在于：后者用同批轨迹自评 + 零点符号检验，前者用留痕评分 + 对照候选 + 标定阈值，并把 $\varepsilon$、$a$、$b$ 从理论常数变成可测量。取 $H=E$、撤掉三支对照、$t=0$，HUC 严格退化为 SkillScaffold，退化路径连续可验。

技术路线

第一步，零训练复算。 按已刊超参（$N=M=L=4$、$\lambda_{\rm gen}=0.1$、Executor 温度 1.0 / $\tau^2$ 用 0.7、阈值 $U>0$）在 ALFWorld 与 ScienceWorld 上重跑采集，只统计四个量：$\Lambda$ 的分布、双半 Scout 的符号不一致率 $\sigma$、三支对照候选的 $U$ 分布、注入精度。产出泄漏占比表（$\Lambda/U^{\rm in}$ 的中位数与 P90）。终止线：若中位数 <20% 且注入精度 >70%，判定代理量稳健，后续只做阈值标定。

第二步，估计三个理论常数。 在 200 条校准查询上对每个候选做独立 rollout（沿用 §3.1 的双估计协议）得 $\hat G$；对 $(U,\hat G)$ 做分位回归取 $a$、$b$；以双半 Scout 的 $|U^{(1)}-U^{(2)}|$ 的 95 分位除以 2 作为 $\hat\varepsilon$。判定式：$0\ge\hat\varepsilon+\hat b/\hat a$ 是否成立。按论文的充分条件，不成立即当前部署点落在保证之外。

第三步，三臂训练对照，各 3 seed。 A0 原 SkillScaffold；A1 留痕评分 + 零点门控；A2 留痕评分 + 阈值 $t^\ast$。报告四个基准的成功率、注入率，以及死组率 $\delta_{\rm dead}$——anchor 变体下 $r^{\rm gen}_j=\max\{0,U_j\}$，整组候选效用全非正时奖励全零、GRPO 优势全零、Generator 拿不到梯度，且这恰发生在最需要指导的低能力查询上；该比例从未刊出。A1−A0 量化泄漏对最终分数的贡献，A2−A1 量化阈值标定的贡献。

第四步，阈值决策曲线。 在固定候选池上重放，网格扫描 $t$，画「注入率 / 注入精度 / 最终成功率」三条曲线，读出 $t=0$ 与 $t^\ast$ 处的精度差。这一步不重训。

第五步，长程复现与内化重估。 在 $\tau^2$-Bench（Airline / Retail / Telecom 三个子域，Telecom 83.3、增益 +6.3，是 τ² 三个子域里提升最大的一档；注意全篇增益最大的仍是 ALFWorld 的 9.2 点，故不宜写成”四项基准之最”）上重跑 A2，并按表 4 协议重算内化恢复值（WebShop +19.7 [0.0, 39.5]（$N=19$）、ALFWorld +29.6 [20.4, 38.9]（$N=54$）、ScienceWorld +65.0 [56.0, 73.5]（$N=50$）、$\tau^2$ +16.6 [10.7, 22.5]（$N=98$）），检验「技能被内化进参数」这一结论是否依赖留痕前的效用。$\tau^2$-Bench 同时是注入率最高的一档：正效用门控平均为 39.3% 的查询选入技能（WebShop 12.1%、ScienceWorld 21.3%）——注入预算越大，注入精度这个指标越该成为主结果。

技术挑战：留痕切分让每条候选的评分轨迹减半，$N=4$ 时每组只剩 2 条；anchor 变体只有 1 条证据，无法切分，改用跨更新留痕——取上一轮同查询的成功 Scout 作评分集。对照候选挤占 $M=4$ 的预算，把 $M$ 提到 6，效用打分次数从 $O(MN)=20$ 升到 30，无额外环境交互。标定需独立 rollout，把校准集压到 200 条并在训练前 20% 步一次性冻结 $t$。死组在 anchor 变体上无法规避，触发时切换到 group-based 效用并单独记账。

预期成果

定量目标：给出 $\varepsilon$、$a$、$b$ 的首个实测值，并对 $t\ge\varepsilon+b/a$ 给出明确的成立或不成立判定；注入精度从「未报告」变成带置信区间的数字，目标 ≥70%；$\sigma$ 在 $N=4$ 下的实测值，与论文用来否决 rollout 法的 16% 门槛直接对撞。

定性目标：把「同策略对自有轨迹重打分」这一类代理量，从单一标量拆成兼容、扰动、泄漏三通道的可审计账单，使技能信用分配的每一次准入都能回答「这条技能被选中是因为它有用，还是因为它描述了策略刚做过的事」。

三种结局各有含义。泄漏占比低且精度高：SkillScaffold 的结论被加固，本工作沉淀为一套可迁移的技能效用审计协议。泄漏主导：A1 相对 A0 下滑，头条增益里有一部分来自让策略叙述自身轨迹。阈值错位：A2 以更低的注入率拿到更高的成功率，说明 WebShop 12.1%、ScienceWorld 21.3% 的注入预算里混着一批负收益注入。

影响面超出技能库本身。凡用同策略重打分制造监督信号的数据管线——经验回放的准入分、自我蒸馏的样本权重、合成语料的质量筛——都面对同一个可辨识性问题，三支对照候选可直接搬用。

相关工作

1. arXiv:2602.08234 —— SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning（v1 2026-02-09） 用更强的教师构建演进式 SkillBank，把稀疏的轨迹级反馈转成后续探索的指导；它属于 SkillScaffold 开篇点名的「假定注入有益」一族，是本提案对照候选设计的直接参照。
2. arXiv:2605.06130 —— Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning（v1 2026-05-07） 依赖间接且延迟的反馈做技能信用分配，与 HUC 的即时留痕评分构成时序上的两端。
3. arXiv:2605.10663 —— Evolving-RL: End-to-End Optimization of Experience-Driven Self-Evolving Capability within Agents（v1 2026-05-11） 用额外的技能条件化 rollout 估效用，正是 §3.1 判定为「昂贵且不稳」的路线；HUC 第二步的 $\hat G$ 标定复用的就是它的协议。
4. arXiv:2605.10923 —— Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning（v1 2026-05-11） 处理技能库的准入与淘汰生命周期，与本提案的三支对照候选同属「容器可审计性」脉络，差别在于它管的是技能条目，HUC 管的是效用符号。
5. arXiv:2608.11888 —— Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents（v1 2026-08-12） 给出技能注入会伤人的实证，是「零点门控不足以挡住负收益注入」这一判断的既有依据，也是注入精度指标的问题来源。

引用核验记录（2026-10-17 编辑时逐条回源）

一手源：arXiv:2610.18807 v1 HTML 全文（arxiv.org/html/2610.18807v1，剥离标签后约 9.25 万字符）+ abs 页。

#	声明	一手位置	结果
1	标题 / 提交日期	abs 页 citation_title、citation_date = 2026/10/13	✅ 一致
2	效用为同策略有/无技能下的对数似然差 $d(s,\tau)$	§4.3 配对轨迹打分	✅ 一致
3	ALFWorld 94.8 / WebShop 45.1	表 3 消融首行（ALF. / Web.）	✅ 一致
4	ScienceWorld 77.1（+4.2）、τ²-Bench 63.4（+3.4）	表 2 末两列	✅ 一致
5	推理期完全去掉技能通路	§5.2 “removes the Generator and all textual skills at inference”	✅ 一致
6	rollout 法符号不一致率 23%（K=1）→ 16%（K=8）	§4 先导观察（图 2a）	✅ 一致，新增”仅在两次估计都非零时计数”的口径限定
7	非并列候选组 32%（5 次/查询）→ 55%（40 次/查询）	图 2b 说明	✅ 一致
8	anchor 变体在 WebShop 使用，D.3 逐字	附录 D.3 “uses the anchor-based variant and its actual successful Scout as Generator evidence”	✅ 逐字一致
9	A.4 “express reusable decision guidance rather than copy task-specific answers”	附录 A.4	✅ 逐字一致
10	placebo/verbatim/paraphrase/Jaccard 全文零命中	placebo/paraphrase/Jaccard 确为 0；verbatim 有 1 处（τ²/retail 语义角色指令）	❌ 已订正（实质结论不变）
11	另两处提示词级禁复述	A.5 “Never reveal or copy task-specific entities”、生成提示 “Do not mention trajectories, outcome labels, rewards, demonstrations, or this prompt”	✅ 一致（本编辑新增）
12	附录 C.3 假设 1 $G\ge aU-b$、命题 3 代入式 20 得 $G>a(t-\varepsilon)-b$	附录 C.3	✅ 一致
13	”Our experiments use $t=0$“	附录 C.3	✅ 逐字一致（后接 “while the same gate supports a tunable positive margin”）
14	图 5(a) 四条规则 61.8 / 60.1 / 63.0 / 67.6	§5.4	✅ 一致
15	图 5(a) 查询池 = 先导的 100 个查询	§5.4 的 100 查询属先导子集；图 5(a) 未逐字标池规模	⚠️ 已标待回源
16	表 4 内化恢复值 +19.7/+29.6/+65.0/+16.6 及 95% 区间	表 4（含 $N=19/54/50/98$，查询级 bootstrap）	✅ 一致（本编辑补 N）
17	表 3 的 “Shuffled utility” 检验配对而非内容	表 3（ALF 82.8 / Web 37.1）	✅ 一致（本编辑补数值）
18	全篇仅表 4 带区间	全篇检索 bootstrap 仅表 4 与附录 B 提及	✅ 成立
19	注入率 WebShop 12.1% / ScienceWorld 21.3%	§5.4（图 8）	✅ 一致；新增 τ² 39.3%
20	Telecom 83.3（+6.3）	表 2 + 正文 “Its 6.3-point gain on Telecom”；τ² 子域为 Airline/Retail/Telecom	⚠️ 原稿”四项基准之最”已改准
21	五篇相关工作编号与标题	abs 页 citation_title 逐条比对（终审补做）	✅ 全部一致（见下）

终审补充核验（2026-10-17）

编辑轮因 arXiv API 429 限流而标为「未逐条回源」的五篇相关工作，终审已逐个回 abs 页补齐，标题全部逐字一致，且五个编号的 YYMM 与 [v1] 提交月份全部自洽（无「编号月份 ≠ 提交月份」背离）。终审同时把此前缺失的提交日期补进参考文献条目：

编号	标题（abs 页 citation_title）	citation_date
2602.08234	SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning	2026/02/09
2605.06130	Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning	2026/05/07
2605.10663	Evolving-RL: End-to-End Optimization of Experience-Driven Self-Evolving Capability within Agents	2026/05/11
2605.10923	Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning	2026/05/11
2608.11888	Agent Skills Can Be Harmful: An Empirical Study of Skill-Induced Failures in LLM Agents	2026/08/12

主对象 2610.18807 的 abs 页 citation_date = 2026/10/13，与编号 YYMM（2610）一致。§3.1 先导观察确认 23%（K=1）→ 16%（K=8）与「仅在两次估计都非零时才计为不一致」的口径限定，非并列候选组 32%（5 次/查询）→ 55%（40 次/查询）；表 1 确认 ALFWorld 94.8 / WebShop 45.1；表 2 确认 ScienceWorld 77.1（↑4.2）、τ²-Bench 63.4（↑3.4）、Telecom 83.3（↑6.3），正文 “gains of 9.2 points on ALFWorld and 4.2 on ScienceWorld” 确认「全篇增益最大的仍是 ALFWorld 的 9.2 点」成立；表 3 确认 “Shuffled utility” 一行 ALF 82.8 / Web 37.1；表 4 确认四个内化恢复值与其 $N$（WebShop 19 / ALFWorld 54 / ScienceWorld 50 / τ² 98）及 95% 区间逐格一致；B.3 确认注入率 WebShop 12.1% / ScienceWorld 21.3% / τ² 39.3%。

本轮未核到的边界

• 假设 1 中 $a>0$、$b\ge 0$ 的来源与含义未读 C.3 的前半段推导，本提案”把 $t=0$ 代回得到 $G>-a\varepsilon-b\le 0$“是依论文已印公式的推演，未回源验证其代数细节。
• 死组率 $\delta_{\rm dead}$ 在 anchor 变体上”奖励全零、GRPO 优势全零”的推断来自 §4.5 与 $r^{\rm gen}_j=\max\{0,U_j\}$ 的组合，论文未直接讨论该情形。
• 相关工作的 SkillRL / Skill1 / Evolving-RL / Dynamic Skill Lifecycle / Agent Skills Can Be Harmful 五个编号未逐个回源（终审已补做，见上）。
• 图 5(a) 查询池 = 先导 100 个查询的等同关系仍未获原文确认（编辑已标 ⚠️ 待回源，终审维持该标注，不作决策依据）。