FlowRL：从奖励最大化到轨迹分布匹配

FlowRL 把后训练的目标从“提高平均奖励”转向“匹配一个偏好高奖励、又保留多种解法的分布”。其核心是 GFlowNet 的 trajectory balance（轨迹平衡，TB），但真正让它适用于长推理的，是参考模型、长度归一化和旧策略样本的权重修正；这些工程步骤也限制了从理想分布到实际实现的理论对应。

六个关键结论

• 问题：只追求奖励可能强化少数常见解法；但提高采样温度也不能保证更多正确解法。
• 机制：用 TB 残差匹配奖励倾斜的参考分布，另学一个问题条件化的归一化项。
• 证据：Qwen2.5-32B 六数学基准 Avg@16 的平均为 48.39，高于 PPO 43.25 和 GRPO 38.34；个别任务不是最好。
• 实践：长序列 log-probability 的规模与 rollout 的陈旧程度，需要成为损失设计的一部分。
• 代价：额外的归一化网络、截断权重和长度偏置使理论匹配成为近似；更多多样性也不必然带来单次准确率提升。
• 开放问题：收益究竟来自更广的正确解法覆盖、隐式 KL 约束，还是更稳定的梯度系数？

理想目标：奖励倾斜，而非只选最高奖励

FlowRL 的前因是一个目标歧义：如果只奖励答案正确，学到一条总能成功的路线与学到多条可用路线，在平均奖励上可能一样好。对单次答题来说这未必是坏事；对需要重复采样、探索或在局部失败后换路线的系统，却可能希望保留多个高质量模式。于是作者把问题从“哪个回答奖励最高”改为“每种回答应该占多少概率”。

不能因此说传统 RL 完全没有分布视角。带 KL 正则的 RL 本来就能写成奖励倾斜分布的优化，差别还在于用什么代理损失、怎样估计梯度，以及有限训练实际保留多少模式。FlowRL 的方法贡献需要落在这些可比较的设计上，而不是仅凭“distribution matching”这个名称成立。

初始表述使用 \(p^\star(y\mid x)\propto\exp(\beta r(x,y))\)。对巨大或无界序列空间，仅靠有界终点奖励不一定给出可归一化的分布；实际方法引入参考策略后得到：

\[p^\star(y\mid x)=\frac{\pi_{\mathrm{ref}}(y\mid x)\exp(\beta r(x,y))}{Z(x)}.\]

这里 \(\beta\) 是逆温度：越大越强调奖励，参考模型保留语言与推理先验。一个重要推论是，同样奖励的回答仍按参考概率加权，而不是全部正确轨迹均匀采样。这个目标与带参考 KL 的熵正则策略优化有关，不能把“RL”与“分布匹配”说成毫无交集的两类方法。

奖励与参考策略各决定哪一部分？

假设参考模型给三条回答 A、B、C 的概率为 0.6、0.3、0.1，前两条正确、第三条错误。作为独立教学例子，取奖励 \((1,1,0)\) 与 \(\beta=\log2\)，目标非归一化质量为 \((1.2,0.6,0.1)\)，归一化后约为 \((0.632,0.316,0.053)\)。正确总质量提高，A 与 B 的 2:1 比例则保持。

因此在相同奖励内部，多样性主要由参考分布决定；方法并不是把所有正确路线变成均匀。有限 \(\beta\) 也没有完全删除错误回答。相反，E2S 的硬正确性条件把有效集合外的质量直接置零。可以把二者理解为软倾斜和硬约束的区别，但实际采样器是否做到各自目标，还要另行验证。

增大这里的 \(\beta\) 会增强奖励倾斜；有些 RL 公式把 \(\beta\) 放在 KL 惩罚前，含义恰好相反。读跨论文推导时，应先检查系数的位置，再讨论“温度更大”意味着什么。

为什么一个平方残差可以指导策略更新？

若输出完整序列，理想平衡条件为 \(Z(x)\pi_\theta(y\mid x)=\pi_{\mathrm{ref}}(y\mid x)e^{\beta r}\)。对数后形成残差：

\[\delta=\log Z_\phi(x)+\log\pi_\theta(y\mid x)-\log\pi_{\mathrm{ref}}(y\mid x)-\beta r(x,y).\]

平方损失希望不同轨迹给出一致的隐式 \(\log Z\)。作者用 prompt 最后一层隐藏状态的均值，输入随机初始化的三层 MLP，预测这个标量。它不需要枚举所有答案，但也新增了一个必须在短后训练阶段学会的条件函数。

论文给出的反向 KL 与 TB 梯度对应，使用从当前策略采样、但对已采样轨迹直接计算残差梯度的形式。它不是对包含参数依赖采样分布的 \(\mathbb E_{\pi_\theta}[\delta^2]\) 做完整求导；后者还会包含 score-function 项。区分这两种求导方式，才能理解“梯度等价”声称的边界。

从残差符号到更新方向

先暂时不做长度归一化，固定样本和归一化偏移，令 \(d(y)=\log Z+\log\pi_\theta(y)-\log\pi_{\mathrm{ref}}(y)-\beta r(y)\)。对单条样本的平方损失，梯度为 \(2d(y)\nabla\log\pi_\theta(y)\)。正残差意味着当前概率相对目标过高，下降方向会抑制它；负残差则会提高它。它处罚的是相对目标的质量错配，不是仅判断该回答对或错。

如果样本确实来自当前策略，且参考分布、奖励和 \(Z\) 固定，则 \(\mathbb E_\pi[\nabla\log\pi]=0\)，TB 的固定样本局部梯度期望与反向 KL 梯度有相应比例关系。这与对 \(\mathbb E_{y\sim\pi_\theta}[d(y)^2]\) 连采样分布一起求完整导数不同；后者还含 score-function 项。原文的梯度联系应放在其估计条件下理解。

这条推导也说明旧数据为何需要处理：若回答来自 \(\pi_{\mathrm{old}}\)，上述零期望关系不是直接针对旧分布成立。理论 importance ratio 可以把旧分布下的期望换回当前分布；截断比值能控制方差，却使修正不再精确。稳定性和无偏性之间的取舍，是真正需要实验证明的部分。

长序列为什么迫使理想目标发生变化？

长序列的 log-probability 是数千个 token 的和，可能让残差与梯度随长度增大。作者将 log 概率除以回答长度 \(T\)，将奖励做组标准化 \(\hat r\)，并给旧策略采样的回答加入停止梯度的 clipping 权重：

\[\mathcal L=w\left[\log Z_\phi(x)+\frac1T\log\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}-\beta\hat r\right]^2,\quad w=\operatorname{sg}\!\left[\operatorname{clip}\!\left(\frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{old}}(y\mid x)},1-\epsilon,1+\epsilon\right)\right].\]

这些设计解决规模与数据重用问题，但不是不改变目标的代数重写：不同长度产生不同概率尺度；组标准化后的奖励依赖同组其他样本；截断的 importance weights 会引入偏差。因此“精确匹配某个固定奖励分布”只能用于未作这些近似的理想条件。

数学主表：完整保留同基座比较

训练使用 DAPO 数学数据，评估六个基准；指标是 Avg@16 平均正确率（%），不是 Pass@16。训练与评估回答上限为 8,192 token，评估温度 0.6、top-p 0.95。作者统一学习率、batch size 和训练步数，并使用同类 veRL 配置，但不同算法的 critic、归一化网络和实际生成长度仍意味着总成本不完全相同。

模型 / 方法	AIME24	AIME25	AMC23	MATH500	Minerva	Olympiad	平均
32B Base	4.58	2.08	28.59	52.48	26.99	21.37	22.68
32B R++	14.79	9.17	52.65	44.35	17.37	24.52	27.14
32B PPO	26.87	20.41	76.40	69.17	28.79	37.90	43.25
32B GRPO	23.12	14.58	76.87	61.60	18.95	34.94	38.34
32B FlowRL	23.95	21.87	73.75	80.75	38.21	51.83	48.39
7B Base	4.38	2.08	30.78	54.47	22.38	24.03	23.02
7B R++	11.04	5.41	66.71	54.25	24.37	27.33	31.52
7B PPO	9.38	7.29	63.43	57.98	26.53	27.25	31.98
7B GRPO	13.54	9.79	64.53	57.05	23.06	26.88	32.48
7B FlowRL	15.41	10.83	54.53	66.96	31.41	34.61	35.63

32B 平均超过 PPO 5.14、超过 GRPO 10.05 个百分点，但 AIME24 的 PPO 更高、AMC23 的 GRPO 更高；7B 的 AMC23 甚至低于多个基线。平均优势不能改写成所有单项领先。

收益和分布匹配之间还有证据距离

7B 消融移除 importance sampling 后平均从 35.63 降到 26.71，支持修正采样不匹配的重要性；作者适配的 GFlowNet/PPO 联合损失为 33.67，也说明并非只要加一个 TB 项就能复制收益。

多样性由 GPT-4o-mini 按解题策略打分，而不是直接测量真实目标分布的 KL。评审模型的偏好、题目数量和正确率差异都可能影响结果。更高多样性与更高准确率一起出现，仍不证明前者是后者的唯一原因；还需要等熵、等 KL 的控制实验。

延伸：多样性应该在什么层面定义？

以下是延伸分析。两个回答使用不同措辞，可能仍属于同一种算法；两个证明共享大量文字，也可能依赖不同关键技巧。因此 token 熵、答案去重和解题策略多样性并不等价。一个只增加闲话或变长的模型，可以提高表面多样性，却不提升解决困难题的选择空间。

更有价值的评测是固定每题采样数和总推理 token，先验证正确，再按核心步骤或可执行程序聚类。报告正确路径簇数、簇概率和在某一路线失败后的替代成功率。如果多个样本高度相关，更多回答也未必等于更多独立机会；只有正确且互补的模式，才会对后续搜索形成实际帮助。

还可以用可枚举的小空间测真实目标分布误差，再到大语言模型测任务效用。前者检验“是否匹配了分布”，后者检验“这种分布是否值得匹配”。两者缺一不可：低 KL 未必带来更高任务分数，高任务分数也不证明低 KL。GFlowRL 对归一化网络的诊断则继续追问：理论目标里出现的量，在有限后训练中是否真的被学会和利用？

与后续方法对读

GFlowRL 对额外归一化网络提出了诊断：随机替换该项未明显损害分数。但这是后续论文的实验，不是 FlowRL 自己的结论。最有价值的复现应在同一配置、多种随机种子下比较学得的 \(\log Z\)、组均值和固定基线，并分别测量梯度、目标分布误差与实际 GPU 成本。

结论

FlowRL 证明了 TB 型残差可以成为有竞争力的后训练信号，却没有把“理想奖励分布匹配”与“实际长序列优化”之间的全部距离消除。对 E2S 的阅读启发是：分布目标、采样分布、梯度估计和工程归一化应分别检查。

参考资料

FlowRL：本文使用 v3 TeX 的方法、数学主表、IS 消融、梯度推导与多样性评估附录，不混用旧版本结果。

Contact