精读：LVRL——把价值函数从「训出来的部件」换成「冻结的前沿 LLM」

1 论文概览

一句话总结：不再训练价值网络，改用一个冻结的前沿 LLM 当价值函数——把目标轨迹全文、同组若干条同伴轨迹的摘要、该组的经验成功率一起塞进一次 query，让它事后给这条轨迹的每个中间状态打一个「照这个走势还能不能成」的分；首端钉死在组成功率 $\mu_G$、末端钉死在真实结局 $R(\tau_i)$，相邻两步的分数之差就是逐步优势，且这些差值严格加总回 $R(\tau_i)-\mu_G$。

核心问题：长程 agent 只有末位一个 0/1 信号。GRPO 把同一个标量复制给轨迹里每一个动作，成功轨迹里的错步照样拿正分、失败轨迹里的有效步照样拿负分。PPO 要额外训一个 critic，在稀疏回报下学不动、也学不稳。剩下的路都要付学费：PRM 要中间标注，VinePPO 要从中间状态重开 rollout，隐式估计器基本是为单轮推理设计的，搬进多轮工具调用要动结构。

“How to distribute this single bit of feedback across individual actions is the classical problem of temporal credit assignment.” —— arXiv:2610.15840 §1 Introduction

主要贡献

1. 冻结 LLM 价值函数 $V_\phi$：一次 query 联合输出一条轨迹所有中间状态的值，critic 全程不接梯度。所谓 policy-aware 不靠参数更新，靠 in-context——把同组 $k$ 条同伴轨迹的摘要、组成功率 $\mu_G$、真实结局 $R(\tau_i)$ 一起放进上下文。
2. 端点锚定带来的守恒性质：$V_\phi(s_{i,0})=\mu_G$、$V_\phi(s_{i,T_i})=R(\tau_i)$，于是 $\sum_t \bar A_{i,t}=R(\tau_i)-\mu_G$，与 GRPO 优势的分子逐字相同。估计误差被锁在轨迹内部，翻不动整条轨迹优势的符号。这是本篇与 PRM 的分界线。
3. 同一个逐步优势复用成蒸馏门控：LVOPD 用 $g(A_{i,t})=\max(-A_{i,t},0)$ 给 reverse-KL 加权，教师监督只在「价值下降」的那些环境步上开，学生自己走通的那条替代路径不被惩罚。
4. 真值探针：用 3 个 checkpoint × 30 个任务 × 成败各一条 × 每个状态 $M=32$ 条独立续跑，搭出 180 条轨迹、3,899 个状态的蒙特卡洛价值 $V^{\mathrm{MC}}$，拿它当标尺去量冻结 critic 的逐步符号。
5. 把冷启动单列成一个可证伪的场景：全组 $G=8$ 条全败时，GRPO 的优势恒等于零、PPO 的 critic 塌成常数，LVRL 靠内部估计的相对起伏继续出信号。

2 方法详解

2.1 形式化

任务建成有限 horizon MDP，状态 $s_t$ 含目标 $g$ 与到 $a_t$ 为止的观察—动作历史，$\gamma=1$，轨迹只拿一个二值末奖励 $R(\tau)=r_T\in\{0,1\}$。下标 $t$ 索引的是环境步，不是 token——这一点决定了后面所有的记账。$V^\pi(s_t)$ 就是「从这儿出发最终能成的概率」。

2.2 价值从哪来

对目标轨迹 $\tau_i$，从同组 $\mathcal{G}$ 里随机抽 $k$ 条同伴，经摘要函数 $S(\cdot)$ 压成动作—观察骨架，一次 query 联合估出所有内部状态值：

$V_\phi\!\left(s_{i,t}\mid \tau_i,\{S(\tau_j)\}_{j\in\mathcal{C}_i},\mu_G\right)$

两端不估，直接钉到经验量：起点 $\mu_G$，终点 $R(\tau_i)$。

2.3 从值到优势

中间奖励为零、$\gamma=1$，取相邻差：

$\bar A_{i,t}=V_\phi(s_{i,t+1})-V_\phi(s_{i,t})$

这在数学上等价于 $\lambda=0$ 的 GAE。差别在于 $V_\phi$ 看着已完成轨迹和它的结局，是 hindsight 估计，不是真正的状态价值函数——论文自己点明了这一层。归一化除以 $\sigma_{\mathrm{step}}$，即整组 $G$ 条轨迹所有有效步上 $\bar A$ 的标准差，得 $A_{i,t}=\bar A_{i,t}/\sigma_{\mathrm{step}}$，再原样塞进 PPO 的裁剪代理目标。

一个环境步内部的所有 token 共享同一个 $A_{i,t}$，似然比与裁剪仍逐 token 计算。

“Because the per-step advantages obtained by LVRL sum to the empirical outcome advantage, the frozen critic cannot inject new reward; it only redistributes it.” —— arXiv:2610.15840 §3.2

2.4 LVOPD：把优势当门控

标准 OPD 在学生自己的前缀上最小化对教师的 reverse-KL，全程均匀施加。均匀施加的问题不是「教师不对」，是「学生走通了另一条路也被按回去」。LVOPD 的解法是把门开在负部：

$g(A_{i,t})=\max(-A_{i,t},0),\qquad \mathcal{L}_{\mathrm{LVOPD}}=\mathcal{L}_{\mathrm{LVRL}}+\beta\,\mathcal{L}_{\mathrm{VD}},\ \beta=1$

门定义在环境步级、被该步所有 token 共享，KL 仍在词表分布上算。工程上教师只返 top-$k_E$（$k_E=32$）的对数概率，学生侧取 top-$k_S$（$k_S=16$），教师残差质量在词表余集上均摊后两侧重归一化。

2.5 与基线的区别

维度	GRPO	PPO	PRM	VinePPO / GiGPO / SALT	LVRL
信用粒度	轨迹级，全步等值	逐步（GAE $\lambda=0.95$）	逐步	逐步	逐步（$\lambda=0$ 的相邻差）
价值来源	组内均值	训出来的 4 层 MLP critic head	训出来的打分器	额外 rollout / 跨轨迹聚合	冻结 LLM，零梯度
是否注入新奖励	否	否	是（可被 hack）	否	否，严格守恒
额外环境交互	无	无	无	需要	无
冷启动（全组失败）	优势恒为 0	critic 塌成常数	取决于标注	取决于采样	内部方差仍出信号

与 GVL 的区别在论文里被明确划开：GVL 用冻结 VLM 从机器人视频估任务进度，产出的是 policy-agnostic 分数；LVRL 用同组 rollout 做条件、并把端点钉到实测结局，值与当前策略的行为和实测回报两头对齐。

3 实验结果

3.1 主表

三个环境、三个骨干，全部 non-thinking 模式，只取训练末的 checkpoint。AppWorld 在 417 条 test_challenge 上评 pass@1（温度 0.6、每任务 3 次 rollout），BabyAI 报 300 条 ID 布局 / 200 条 OOD 布局，R2E-Gym 训练后在 SWE-bench Verified 上测。$G=8$，AppWorld / BabyAI / R2E-Gym 分别训 500 / 150 / 100 个 update，各方法同一个 rollout 预算。

环境 / 骨干	Base	+GRPO	+PPO	+LVRL
AppWorld / Qwen3-4B	4.2 ± 0.4	10.7 ± 2.8	14.8 ± 0.8	24.3 ± 1.7
AppWorld / Qwen3-8B	10.9 ± 1.0	19.8 ± 3.8	17.5 ± 1.6	26.3 ± 0.5
BabyAI / Qwen3-4B（ID / OOD）	0.0 / 0.0	0.3 / 0.0	0.1 / 0.0	69.0 / 52.2
BabyAI / Qwen3-8B（ID / OOD）	0.7 / 0.0	2.7 / 0.0	0.3 / 0.3	75.0 / 65.5
SWE-bench Verified / Qwen3-8B	2.9 ± 0.2	12.0 ± 1.2	9.0 ± 0.4	20.2 ± 1.3
SWE-bench Verified / Qwen3-32B	20.2 ± 1.2	22.3 ± 2.1	24.9 ± 0.5	30.9 ± 1.6

摘要里的两个数字对得上：13.6 分是 AppWorld / 4B（24.3 − 10.7），8.6 分是 SWE-bench / 32B（30.9 − 22.3），两处都是相对 GRPO、各自取跨规模的最大值。

3.2 消融

In-context 校准（AppWorld / 8B，整包拿掉：只给当前轨迹、去掉两端锚定）：26.3 → 22.1，仍高于 GRPO 的 19.8。端点锚与同伴摘要各自的贡献没有分离，$k$ 的扫描也没有——两条都被论文列进 future work，且 $k$ 的具体数值在全文中未出现。

换 critic（AppWorld / 4B，base 4.2）：Qwen3-235B 得 9.8，GLM-5.2 得 22.3，Claude Opus 4.6 得 24.3。

LVOPD（AppWorld，Qwen3-235B 身兼教师与 critic）：

方法	Qwen3-4B	Qwen3-8B
+OPD	17.0 ± 0.3	22.2 ± 0.7
+Trajectory-gated	19.2 ± 1.0	21.2 ± 1.0
+LVOPD	20.2 ± 1.8	23.3 ± 1.6

3.3 蒙特卡洛真值探针

3 个 checkpoint（训练进程的 25% / 50% / 75%）各取 30 个任务、成败各一条，共 180 条轨迹、3,899 个状态。每个状态重放原始动作前缀、从同一 checkpoint 采 $M=32$ 条独立续跑，成功率即 $V^{\mathrm{MC}}(s_t)$。取 $\sigma=0.125$（两个独立的 $M=32$ 比例估计之差的方差上界 $\sqrt{2\times0.25/32}$），阈值 $3\sigma=0.375$。

• 标注结果：76 个 pitfall、38 个 recovery、1,533 个 MC-neutral。
• 符号一致率：pitfall 上 72%，recovery 上 66%。
• 对照：MC-neutral 转移上只有 8% 被判下降、22% 被判上升。
• 规则基线（环境输出含 Traceback / Execution failed / No code available to execute）只抓到 13% 的 MC pitfall。
• 按轨迹位置分箱：前 1/3 一致率 44%，中 1/3 78%，后 1/3 88%。前段 29% 的事件被判「无价值变化」，后段只有 4%。
• 19 例早期分歧里，12 例是 critic 把查 API 文档、登录、取任务数据这类准备性动作判成语义进步，而 MC 值实际在降。

“This pattern suggests that the frozen LLM critic’s value estimates are not strictly on-policy. While it correctly identifies useful semantic progress, it overestimates the current student’s ability to successfully complete the task.” —— arXiv:2610.15840 §4.4

4 个人分析

4.1 亮点

第一，端点锚定把「用 LLM 打分」从 reward hacking 里摘了出来。 这是全篇最干净的一笔。PRM 把学到的奖励加进目标，策略可以去刷这个估计器，在失败轨迹上刷出正的总奖励。LVRL 的逐步优势加总等于实测的 group-relative return，估计器再差也只能决定「这袋信用在轨迹内部怎么分」，决定不了这袋信用有多大。把稠密化和可 hack 拆成两件事，这个拆法值得单独记一笔。

第二，冷启动那一段是全篇证据最硬的地方。 全组八条全败时，GRPO 的分子 $R-\mu_G$ 对每条轨迹都是 0，PPO 的 critic 在零方差回报下只能预测常数，两条路一起断掉。LVRL 的两端锚此时都是 0，逐步优势加总为 0，可内部估计仍有起伏，正负分化照样存在。BabyAI 上 Qwen3-8B 从 0.7 / 0.0 走到 75.0 / 65.5，四个基线全在 0 附近，这个对比不需要任何统计检验。

第三，MC 探针的搭建方法本身是可复用的。 $\sigma$ 取的是方差上界而不是实测方差，阈值取 $3\sigma$，判定标准在写实验之前就定死了，事后挑阈值的空间被压掉。拿它去对照规则基线（只抓到 13%）也说明：逐步语义判断确实在显式执行错误之外抓到了东西。

第四，自曝 critic 不严格 on-policy。 §4.4 末尾那句承认得很干脆，还给了早期分歧的具体类型。这条自曝的分量比它看起来大——「policy-aware」是整篇的卖点之一。

4.2 局限性：逐项对账

（1）MC 验证覆盖 3.1% 的转移，一半以上落在被排除的中间带。 3,899 个状态减 180 条轨迹，约 3,719 个转移；标注的只有 76 + 38 + 1,533 = 1,647 个，剩下约 2,072 个（55.7%）处在 $\sigma\le|\Delta^{\mathrm{MC}}|<3\sigma$ 的模糊带，论文没报那里的符号一致率。而真实训练里，绝大多数转移恰恰落在这个带里。

（2）按报出来的数字反推，「这一步有害」的判据精度约 29%。 论文报的是召回（pitfall 上 72%），没报精度。用同一批数字可以把它算出来：被预测为下降的转移总数 = 中性上的 8% × 1,533 ≈ 123，加 pitfall 上的 72% × 76 ≈ 55，再加 recovery 里被误判为下降的最多 34% × 38 ≈ 13，合计落在 177 到 190 之间；其中真 pitfall 是 55。精度落在 28.8%–30.9%——critic 每喊三次「这里跌了」，约两次落在 MC 看不出变化的转移上。做门控用时，这个数字比召回更要紧。

（3）「policy-aware」的实际含量是「task-aware + 弱能力感知」。 in-context 校准喂进去的是 $k$ 条同任务同伴摘要、一个由 8 条样本算出的 $\mu_G$、以及真实结局。$\mu_G$ 在 $G=8$ 下的分辨力是 1/8 的台阶。$k$ 的数值全文未出现，消融只把「端点锚 + 同伴摘要」整包拿掉，锚和摘要各占多少无从判断。论文把这两项都留给了 future work，等于卖点的核心部件目前只有一个合并 ablation。

（4）hindsight 泄漏决定了 BabyAI 那一格的语义。 critic 看到了真实结局 $R(\tau_i)$，内部值只能在 $\mu_G$ 与已知结局之间插值。全组失败时两端锚都是 0，逐步优势严格加总为 0——

“when all trajectories in a group fail, both endpoint anchors are zero, so the unnormalized advantages sum to zero for every trajectory. Nevertheless, interior estimates can vary” —— arXiv:2610.15840 §4.2

于是 BabyAI 上那个 0 → 75% 的跃迁，全部来自「零总量怎么在步与步之间重分」，没有一比特来自结果监督。这一格测的是 Claude Opus 4.6 对网格世界导航的零样本语义先验经 RL 灌进 Qwen3-8B，不是信用分配算法本身的收益。OOD 65.5% 说明灌进去的东西确实泛化到了更长的门距，把它读成「逐步信用分配解决了冷启动」会读错层级。

（5）逐步化顺带改了每条轨迹的有效更新权重，这项没有被消融。 GRPO 把 $\hat A_i$ 复制给每一步，一条 $T$ 步轨迹的总优势质量是 $T\cdot\hat A_i$；LVRL 的 $\sum_t A_{i,t}=\hat A_i$，与 $T$ 无关。换成按步分摊后，长轨迹相对被降权 $T$ 倍。AppWorld 平均约 22 个环境步（3,899 / 180），BabyAI 的 rollout 预算开到 128 步，这个倍数在三个环境上不是一个量级。它与「信用质量」缠在一起，而消融表缺两条对照臂——「总量守恒但逐步均匀分摊」与「随机逐步优势」。补这两条就能分离出长度归一化贡献了多少。

（6）critic 能力是天花板，而主表与 OPD 表用的不是同一个天花板。 4B / AppWorld 上换 critic 的曲线是 9.8 → 22.3 → 24.3（base 4.2），弱 critic 把收益砍掉六成。LVOPD 在 AppWorld 与 BabyAI 上让 Qwen3-235B 身兼教师与 critic，而同一张表刚说明它做 critic 只值 9.8；BabyAI 上所有 OPD 变体（含 LVOPD）全部 0%，论文归因于 critic 太弱——归因成立，可主表 headline 用的是 Opus。换 critic 就得换钱：AppWorld 每条轨迹的估值调用 $0.061–0.062，另有论文称「与之相当」的摘要调用。按 500 update × 64 轨迹 = 32,000 条/轮折算，单轮约 $3,900、三个 seed 约 $11,700；表 6 记的 AppWorld 4B 共 92,718 次 query、8B 共 99,968 次，与「每 seed 32,000 × 3」基本对齐。摘要究竟按每条目标轨迹算一次、还是按 $k$ 条同伴各算一次，论文没写清——后者会让总额再乘一个 $k$。全文没有 wall-clock 与调用占比的对照。

（7）LVOPD 的增益落在误差棒内，且「粒度递进」的叙事不单调。 8B 上 LVOPD 23.3 ± 1.6 对 trajectory-gated 21.2 ± 1.0，差 +2.1，三个 seed 下 $t\approx1.9$；4B 上 20.2 ± 1.8 对 19.2 ± 1.0，$t\approx0.8$。更要紧的是 8B 上 trajectory-gated 的 21.2 反而低于 pure OPD 的 22.2——从「均匀」到「轨迹级门控」这一步是负增益，「粒度越细越好」的单调叙事在表里不成立。

（8）其余几处。 R2E-Gym 只训 1 个 seed（用 3,200 条合成题训、在 SWE-bench Verified 上测）；全部 non-thinking 模式，所以绝对分低（AppWorld 26.3% 不是这个 benchmark 的 SOTA 量级）；只取训练末的 checkpoint，没做 best-of-n；HTML 版正文把 OPD 结果表与校准消融表的交叉引用都写成 “Table 4”（实际编号是 Table 2 / Table 3 / Table 4）；critic 走专有 API 且未版本锁定，论文级的复现性受制于服务端。

4.3 对大模型领域的影响

「价值函数从哪来」这个问题被换掉了问法。 过去的分歧是「训不训 critic、训得动训不动」，本篇给的是第三条路：借一个冻结的前沿模型，靠上下文而不是参数去对齐当前策略。真正让它可用的不是「LLM 会打分」这件事，是端点锚定那条守恒性质——有了守恒，稠密化不再等于往目标里塞一个可 hack 的估计器。

PRM 与重分式稠密信号的边界被划清。 一个是 additive reward，误差能进总账；一个是 redistribution，误差锁在内部。这条界线对后面所有「用外部模型给过程打分」的工作都成立，也不限于 RL——凡是外部打分器参与损失，先问它是加账还是分账。

代价被明码标价。 24.3 → 9.8 这条换 critic 的曲线，是「强模型当奖励侧基础设施」这一路线的定价表：收益上限由前沿模型决定，成本按每条轨迹付，且随模型换代漂移。论文自己给的降本方向（把信号蒸进本地小 critic）是这条路线能否上生产的分水岭。

5 实践启示

5.1 可以借鉴的技术

1. 端点锚定 + 差值守恒的记账法。 任何「外部打分器给序列内部位置打分」的场景都能套：把打分器的首尾钉到经验量上，误差就锁死在内部，进不了总账。这条与打分器是谁、有多强无关。
2. 用守恒的稠密信号做冷启动。 全组零方差时，靠 hindsight 打分器的内部相对起伏出信号，绕开「得先有成功样本」。比换个探索策略或加熵奖励更直接。
3. MC 真值探针的搭法可以直接搬。 多 checkpoint 取样覆盖训练早中晚、每状态固定 $M$ 条续跑、阈值取 $\sigma$ 上界的 $3\sigma$。本专栏此前多期讨论过的位置级记账外部校验，都能用这套脚手架。报的时候把精度和中间带一起报上，只报召回会误导。
4. 把优势当门控而非损失。 $g(A)=\max(-A,0)$ 这个「负部加权」的写法，可以套到任何「外部监督要不要作用于这一步」的判断上：DPO / OPD 的位置级掩码、数据质检里的逐位置保留、课程学习里的重放权重。
5. 一次 query 联合估计整条轨迹所有状态。 比逐状态调用省掉重复的上下文前缀，也顺手让同一条轨迹内部的分数可比（同一次解码、同一套上下文）。

5.2 潜在应用场景

• 内部 agent 后训练：工具调用、SWE、数据管线这类环境步天然切分、结局可判定的场景，是本篇的直接适用面。步的边界得是环境给的，不是按 token 数硬切。
• 训练数据的逐步质量标注：把「逐位置打分 + 端点锚定」用到数据工程里，给一条多轮轨迹标出哪些步拖了后腿，用于位置级筛选或重加权。
• 把 Opus 的价值信号蒸进本地小 critic：论文列为 future work 的方向，也是成本从 $0.06/条降到本地推理的唯一通路。蒸馏的目标应当是逐步差值而不只是绝对分——绝对分不含信用信息。
• 跨任务复用同一套 critic：critic 与目标策略解耦，一个环境的价值打分器换到相邻环境时不需要重训，这对环境稀缺的场景是实质性的成本项。

5.3 要补的实验清单

1. 分离端点锚与同伴摘要，各做一臂；扫 $k$。
2. 加「总量守恒但逐步均匀分摊」对照臂，与「随机逐步优势」对照臂——分离长度归一化与信用质量。
3. 报中间带（$\sigma\le|\Delta|<3\sigma$）的符号一致率，报 pitfall 判据的精度而不只是召回。
4. 强 critic 下的 LVOPD（教师与 critic 解耦），并把 BabyAI 那一格重跑。
5. 每个环境一份消融，尤其 headline 那一格。
6. wall-clock、API 调用占比与摘要调用的计费口径。

参考文献

Zhu, K., Yan, W., Attia, O., Kazerouni, A., Toshev, A., & Szot, A. (2026). LLM Value Functions for Credit Assignment in Agentic RL. arXiv:2610.15840 [cs.LG]. Apple. v1 2026-10-11.

相关精读

• 本篇把本专栏连续三十九期的主线再挪一格：此前三十八期回答的是「挑哪些 token、挑哪些轨迹、信用按哪套口径记账、信号被消费时旧了多少、数据分布离基座多远、整条响应有没有资格参与这次更新、策略容量会不会被优化动力学耗光、教师分布里哪些位置允许比较、事后经验除了改行为还能不能改行动之前的那次预测、参考模型的 KL 该从哪条边进组相对更新、教师的意见从哪条通道进 RL、off-policy 校正的记账区间有多长、裁剪区间那两个端点由什么决定、干预落在流水线的哪一环」，这一期问的是逐步信用从哪个模型里来——价值函数不再是被训练出来的部件，而是一个冻结的前沿 LLM 在上下文里给出的判断，再用端点锚定把它的自由度锁回实测回报。
• 精读：RTI——把干预从优化期搬到采样期
• 精读：GPPO——把 PPO 的裁剪区间拆成「散度」与「估计器」两维
• 精读：TAPO——把状态校正的记账区间从两端挪到前缀
• 精读：Residual Advantage——让教师只重分信用，不改响应总分
• 精读：ZCPO——把参考 KL 从损失支搬进组内系数
• 精读：SRD——把事后回顾蒸成事前先见
• 精读：跨分词器 OPD——把对齐覆盖度补满反而掉点
• 精读：Mesh Learning——把 RLVR 的坍塌解释成策略容量的供需冲突
• 精读：CARM——把响应级掩码的判据从净位移换成双向漂移
• 精读：把 off-policy 专家数据 MCMC 投影成 on-policy 数据
• 精读：GMC-GRPO——把重要性比从逐条裁剪换成整组收缩
• 精读：SCAPO——用「扰动下不动」给 token 记一笔负账
• 精读：ARCUS——prompt 的选择也有一条弧
• 精读：把中间那一步的信号从模型里搬进环境——用沙箱回滚跑出免费过程奖励
• 精读：把特权信息从损失搬到采样器——多轮 agent 里自蒸馏为什么会崩
• 精读：OC-GRPO 与离上下文重要性校正
• 精读：不跑 RL，先把新奖励的结果预测出来
• 精读：给 token 级信用一个唯一解，然后把它求和掉
• 精读：把后训练配方本身当成果，再逐阶段对账
• 精读：STAR-E——按惊讶度给 token 重加权 advantage
• 精读：按梯度可估性给 token 分配蒸馏监督
• 精读：TrimSFT——按 logit 间隔剪掉 SFT 里的低信息 token
• 精读：ESFT 与端点 SFT 对中段推理链的裁剪
• 精读：把中间状态的价值估计整体消掉
• 精读：ActObs——把被 mask 掉的那 45% 观察 token 重新纳入损失
• 精读：SP³O——一条响应里只给三个位置价值监督
• 精读：教师引导的课程 RLVR——把解不出的题变成可解的题
• 精读：DataFlex-RL 与均匀采样的替代策略
• 精读：NGU 与 RL 里的马太效应
• 精读：按排序可分辨性做 RLVR 数据联合工程
• 精读：模型与外壳共演化时的同策略校正
• 精读：OPD-then-RL——顺序摆信号胜过同 step 混信号
• 精读：One-Shot OPD 与状态覆盖吸收率
• 精读：Compile by Training——把 LLM 降级为构建期依赖
• 精读：Terminal-Universe——轨迹反向造环境
• 精读：OPSA——无教师的同策略自适应
• 精读：SPADE——把优化对象从轨迹上移到生成器
• 精读：DART-SD——标注单元从轨迹换成状态图