RL’s Razor：为什么在线强化学习可能遗忘更少

强化学习微调为什么常常比专家 SFT 忘得少？RL’s Razor 把解释从“RL 是特殊的学习算法”移到“模型最终选择了哪一个高奖励分布”：同样能解决新任务的策略很多，on-policy 更新往往偏向离起始模型更近的解。在 ParityMNIST 玩具实验里，新任务上的前向 KL 对遗忘的二次拟合 \(R^2\) 达到 0.96；LLM 实验中的对应值为 0.71。这个差别本身提醒我们：它首先是有适用范围的经验关系，不是普适遗忘定律。

六个核心判断

• 问题：只比较新任务分数，无法判断一种微调方法是否以牺牲旧能力为代价。
• 机制：on-policy 样本让更新从学生现有行为出发，而专家 SFT 可以把模型拉向远处的任意示范分布。
• 证据：四类目标的学习—保留曲线及 ParityMNIST 对照支持这一解释；前向 KL 的预测力在玩具任务更强。
• 实践：应记录分布变化，并按相同新任务水平比较旧能力，而不只看训练结束的一个检查点。
• 代价与边界：准确 KL 估计和超参数前沿都需要计算；小 KL 也不是“所有旧任务都安全”的证书。
• 开放问题：新任务 KL 为什么影响旧任务，需要更具体的表示干扰机制及跨域因果对照。

一、正确的比较单位是权衡曲线

这项研究的起点，是后训练比较中的一个隐藏歧义：新任务通常并没有规定唯一的“正确输出分布”。一题可以有多种证明，机器人可以用多条路径完成操作，指令也可以用不同措辞满足。只给最终成功打分，会允许许多同样高奖励的策略；给固定示范做 SFT，则已经替学习者选定了一种表达和行为分布。两者获得相近新任务分数，仍可能到达很不一样的模型。

所以论文问的不只是“RL 是否保留得好”，而是“在一组足以解决新任务的策略中，RL 倾向选择哪一个？”Razor 的含义可以理解为剃掉任务不要求的额外变化，而不是拒绝所有变化。若新知识本身与旧行为冲突，学习一定有代价；需要区分必要改变和模仿某份示范额外带来的改变。

设模型起点为 \(\pi_0\)，微调后为 \(\pi\)。若 SFT 在新任务得到更高分，但旧能力损失更多，而 RL 新任务略低、旧能力更好，直接说谁更强没有意义。作者对两类方法进行超参数扫描，在“新任务表现—旧任务表现”的二维空间比较 Pareto 前沿。

LLM 使用 Qwen2.5-3B-Instruct，学习数学、化学问答或工具调用；旧能力覆盖 HellaSwag、TruthfulQA、MMLU、IFEval、WinoGrande、HumanEval。机器人则以 OpenVLA-7B 学习 SimplerEnv 抓罐任务，检查抽屉开关任务。RL 采用二元奖励，并不使用显式 KL 正则。

需要记住前沿也是估计：附录先保留距经验前沿 2 个准确率点以内的模型，再拟合指数曲线。它不是所有可能超参数下的数学最优边界，也不是等总算力的效率比较。

二、哪一个 KL？方向不能省略

经验预测器是对新任务输入取平均的：

\[ F(\pi)=\mathbb E_{x\sim\mathcal T_{\mathrm{new}}} D_{\mathrm{KL}}\big(\pi_0(\cdot\mid x)\|\pi(\cdot\mid x)\big). \]

它用起始策略作为第一项，处罚微调后模型把原先较有概率的输出压得太低。这与只看参数欧氏距离不同：参数可改变很多而输出不变，也可改变少量关键参数而严重损害行为。

一个容易读错的细节：论文的最小变化投影写的是 \(D_{\mathrm{KL}}(\pi\|\pi_0)\)，而经验预测器写的是 \(D_{\mathrm{KL}}(\pi_0\|\pi)\)。两者方向相反，不能把经验拟合和理论目标视作同一个量，也不能因为它们都叫 KL 就交换使用。

三、ParityMNIST 为什么有解释力？

新任务不是识别唯一正确数字，而是判断奇偶：偶数图像输出任意偶数标签都算正确，奇数同理。这刻意制造了多个同样正确的输出分布。旧任务为 FashionMNIST，模型是联合预训练的三层 MLP。

普通 SFT 选择一套外部标签分布；RL 只要求奇偶正确，让模型自由选择正确标签之间的比例。再构造一个已知的、与起始模型最接近的 oracle SFT 分布，就可以检验“不是 SFT 损失天生有问题，而是示范分布选得不好”。论文中 oracle SFT 的权衡优于 RL，另一个把 RL 模型输出蒸馏成 SFT 数据的对照也接近 RL 的权衡。

这些对照比简单的 RL—SFT 两条曲线更有判别力，但 oracle 依赖玩具任务中可解析的分布，不能直接迁移成大语言模型上的免费数据生成器。

一个奇偶例子：正确性相同，分布变化不同

独立构造一个简化版本。模型看到某张偶数图片时，给“0”“2”“1”三个标签的概率为 \((0.6,0.3,0.1)\)。如果新任务只要求输出偶数，那么前两个标签都对。强制模仿“每张偶数图都写 2”的专家数据，会把模型推向 \((0,1,0)\)；只过滤错误质量的条件分布则是 \((2/3,1/3,0)\)。二者新任务正确率同为 100%，但后者保留了起点在有效标签之间的 2:1 偏好。

在这个例子里，条件分布到起始策略的 KL 为 \(-\log0.9\)，约 0.105 nats；单标签分布的 KL 则是 \(-\log0.3\)，约 1.204 nats。用的方向都是“新分布到旧分布”。计算只说明行为改变大小不同，不说明另一项任务一定下降多少。若没有共享参数，两项任务甚至可以完全互不干扰；遗忘问题来自现实模型在多个输入和任务之间共享表示。

这正是 oracle SFT 对照的作用：它给 SFT 一份理论上更合适的目标数据，测试损失形式是否真是原因。若换数据后 SFT 也有好权衡，那么“监督学习必然遗忘更多”就不能成立。论文把解释推进到目标分布层面，比仅比较两个优化器更深入。

四、什么量最能预测遗忘？

论文 Table kl_vs_alt：ParityMNIST 上用二次多项式预测遗忘的 \(R^2\)，越高表示该拟合更有解释力。保留全部变量；± 项按原表报告，不自行解释成置信区间。

预测变量	\(R^2\)
前向 KL	0.96 ± 0.01
反向 KL	0.93 ± 0.01
Total variation	0.80 ± 0.01
输出分布 L2 变化	0.56 ± 0.02
参数 L1 变化	0.34 ± 0.02
Fisher 加权参数 L2 变化	0.58 ± 0.02
参数谱范数变化	0.58 ± 0.02
参数变化稀疏度	N/A
参数变化秩	N/A
激活 L1 变化	0.52 ± 0.02
激活 L2 变化	0.55 ± 0.02

前向 KL 在这张表里最好，但反向 KL 的 0.93 也很强，不能说“其他分布距离完全没用”。LLM 拟合的 0.71 又低于玩具任务的 0.96，因此实践中它更适合作为监测信号，而非单独决定是否可以上线。

另一个重要诊断是精度：论文观察到 bfloat16 下很小的更新可能没有越过数值表示阈值，表现为稀疏参数变化；换成 float32 后稀疏性消失，而性能相近。因此“RL 更新更稀疏，所以忘得少”可能混入了数值精度因素。

五、关键是 on-policy，还是负样本？

论文四象限对照。这里比较设计及观察到的曲线关系，不从图中捏造精确准确率。

方法	采样来源	是否使用负更新	论文观察
GRPO	当前学生	是	较低 KL，较好保留
1–0 REINFORCE	当前学生	否；错误样本权重为 0	更接近 GRPO 的权衡
SFT	固定外部数据	否	较高偏移、更多遗忘
SimPO	固定正负数据	是	更接近 SFT 的权衡

这一设计把采样来源与负梯度分离，支持 on-policy 数据是重要因素。但不同损失仍有优化稳定性和有效训练量差异，且论文没有研究所有在线 off-policy 方法。合理结论是排除了“负样本本身足以解释优势”，不是证明任何形式的 on-policy 更新都安全。

六、投影解释：直觉在哪里，保证止于哪里？

对二元奖励 \(R(y)\)，只保留正确回答的拒绝采样分布为：

\[ q_t(y)=\frac{\pi_t(y)R(y)}{\sum_{y'}\pi_t(y')R(y')}. \]

它是当前策略在正确集合上的信息投影。固定采样分布时，奖励加权的 policy-gradient 方向与对 \(q_t\) 做最大似然的梯度方向对应。于是可以把过程理解为“先形成奖励重加权目标，再将目标投影回可表示的模型族”。

附录的最小 KL 收敛结果要求有限输出空间、可实现的最优解、适当的指数族几何，以及精确投影或可求和的近似误差。一步梯度下降不等于完成一次精确投影，神经网络策略族也不天然满足这些假设。因此这是理解偏好的理论模型，不是给任意 PPO / GRPO 训练流程的全局收敛证书。

条件采样与奖励加权更新为什么接近？

固定某一轮的学生 \(\pi_t\)，令正确集合的概率为 \(Z_t\)，并把采样分布和奖励视为固定。二元奖励加权的更新为 \(\mathbb E_{y\sim\pi_t}[R(y)\nabla_\theta\log\pi_\theta(y)]\)。将 \(q_t(y)=\pi_t(y)R(y)/Z_t\) 代入，得到：

\[ \mathbb E_{y\sim\pi_t}[R(y)\nabla_\theta\log\pi_\theta(y)] =Z_t\mathbb E_{y\sim q_t}[\nabla_\theta\log\pi_\theta(y)]. \]

右侧正是对条件样本做最大似然的方向，差一个成功概率系数。它解释了为什么过滤学生正确回答再做 SFT，能与某种正奖励策略梯度相联系；并不说明 GRPO 的负优势、标准差缩放、clipping 或多轮优化都已被这条等式包含。更不能把一次有限 batch 更新称为完成了最小 KL 投影。

当 \(Z_t\) 很小时，这个等式还暴露了瓶颈：理想条件分布很清晰，但朴素学生采样几乎拿不到训练数据。Finetuning with Sampling 用专家起点与搜索尝试生成它，E2S 再试图把搜索变成可复用的采样器。因此它们承接的不是“换一个 SFT loss”，而是如何取得这份理想监督分布。

七、还不能说 KL “导致”遗忘

新任务 KL 与旧任务损失之间的稳定关系是重要发现，但二者也可能受共同的优化变量驱动。论文自己承认，表示干扰、容量限制或其他机制尚未解释清楚；中等规模模型和玩具分布也不能覆盖前沿模型、多轮 agent 或长时间持续学习。

一个有判别力的实验，是构造相近新任务准确率且相近新任务 KL、但改变更新方向或旧知识与新任务重叠程度的模型，比较旧任务损失是否仍相近。如果同 KL 的方向导致不同遗忘，就需要在标量距离之外加入结构信息。

与 Retaining by Doing 合读尤其有用：后者在实际模型上发现 KL 与遗忘的 Pearson 相关为 0.52，并不总是单调。这不是互相推翻，而是说明不同实验对“KL 是多强的代理”给出不同边界。

延伸：距离有大小，也有方向和位置

下面是对论文边界的延伸分析。即使一个模型在新任务输入上的 KL 很小，也不能仅凭此约束完全不同的旧任务输入。对同一个输入分布，若有合适的 KL 与 total variation 控制，可以讨论有界行为统计量的变化；但从“数学题上的行为距离”直接跳到“代码、安全和指令遵循都保持”，还缺少跨输入分布和共享参数的论证。

更具体地，一个小更新如果集中在安全拒绝的决策边界，影响可能比一个较大的风格更新更严重。参数距离、输出距离和旧任务风险分别描述不同层面，不能互相代替。这解释了为什么研究中的一个高相关标量，到了部署时仍需要逐任务评测；它适合报警或选择检查点，不适合代替验证。

一个可行的延伸是把总体 KL 拆成输入群体和能力切片，并同时看正确回答质量的变化，而不是一味压低总漂移。若能做到相同新任务分数、相似 KL、不同旧任务损害，那么决定风险的还包括变化落在哪里。这样的实验会把“最小变化”从一句直觉推进到更有结构的持续学习原则。

最终判断：选择一个更少破坏的解

这篇论文值得学习的，是把新任务的众多高奖励解视作一个选择空间：学习不仅要找到正确解，也要问哪一个解最少破坏现有行为。它为 采样后 SFT 和 E2S 提供动机；但把“近”落实成可靠数据和可验证保留，仍需要后续算法与实验。

参考与核对位置

Idan Shenfeld, Jyothish Pari, Pulkit Agrawal. RL’s Razor: Why Online Reinforcement Learning Forgets Less。核对版本：v1。重点：§3–6、Table kl_vs_alt、Appendix A 的投影假设与 Practical considerations、Training and Evaluation Details。TeX 源码。

Contact