E2S Finetuning：学习一个贴近学生的正确轨迹采样器
专家能给出正确答案，不等于专家的表达方式就是学生最容易学会的训练数据。Haoqiang（Murray）Kang 的研究博客提出 E2S Finetuning：先学习一个受专家信息约束、又尽量贴近学生分布的采样器，再用它生成监督微调（SFT）数据。在博客公布的 Qwen2.5-3B 数学实验中，Offline / Online 的四项数学平均准确率为 55.5% / 59.4%；这是完整训练流程的比较，并不是等总计算量的速度结论。本文以论文阅读的方式重建这个想法，区分理论目标、实际训练算法和实验能够支持的判断。
来源说明：E2S 的直接来源是作者的研究博客，不是本文已核实的独立 arXiv 论文。它承接 Finetuning with Sampling 的受约束采样目标，并借助 GFlowNet 学习可复用采样器。下文凡称“E2S 实验”，均指作者博客公布的项目结果；相关论文的结果会单独标注。
先记住六件事
- 问题：普通 SFT 不仅传递专家知识，也要求学生模仿专家的具体轨迹；这两件事并不等价，后者可能带来额外分布偏移。
- 机制：专家定义“哪些回答可以接受”，学生定义这些回答之间的相对概率；GFlowNet 负责学习从这个条件分布中采样。
- 证据：同一数学评价套件上，MCMC + SFT、E2S-Offline、E2S-Online 的 Math avg. 分别为 53.4%、55.5%、59.4%，但基线引用自另一项研究，未做等总计算量对照。
- 实践：当正确答案已经有了、学生却难以自行采到正确轨迹时，可以改造训练数据的生成分布，而不必首先改造 SFT 损失。
- 代价：采样器训练、参考模型打分、有效性验证和被拒绝的输出都要付费；“摊销搜索”不自动意味着总成本更低。
- 开放问题：有限采样器究竟保留了多少正确解法？Online 的收益来自分布跟踪、更多训练，还是更好的覆盖？需要预算匹配和模式覆盖实验区分。
一、为什么“给正确示范”仍可能不好学？
先想一件很普通的事：老师用一个巧妙代换解出方程，学生却更习惯逐项消元。老师的答案当然正确，但让学生逐字复述那份证明，会同时提出两个要求：学会方程的知识，以及学会老师组织这段证明的方式。若学生缺少代换背后的中间概念，背下答案甚至可能让他在换一道题后更容易卡住。这个类比只是理解问题的入口；语言模型的可学习性最终仍要通过训练和测试来判断。
E2S 把这两个要求拆开了。我们真正不能丢掉的，是专家解中的有效信息；至于它必须以哪个中间步骤、记号或句子出现，可以留给学生的分布选择。因此首先要问的不是“怎样把专家答案拟合得更好”，而是“满足专家要求的所有表达中，哪一个分布最值得让这个学生学习？”后面的采样器是这个问题的实现，而不是故事的起点。
设问题为 \(x\)，专家回答分布为 \(q_{\mathrm{data}}(y\mid x)\)，学生为 \(p_\theta(y\mid x)\)。SFT 对专家回答做最大似然训练：
\[ \mathcal L_{\mathrm{SFT}} =\mathbb E_{y\sim q_{\mathrm{data}}}[-\log p_\theta(y\mid x)] =H(q_{\mathrm{data}})+D_{\mathrm{KL}}(q_{\mathrm{data}}\|p_\theta). \]固定数据下，第一项不随学生参数变化。也就是说，SFT 要求学生向专家的数据分布靠近，而不仅是让“最终答案正确”。若专家喜欢很长的证明、特殊的记号或学生几乎不会产生的中间步骤，这些表达习惯也一起进入监督信号。
在 token 层面，这个差异更具体：训练时 \(p_\theta(y_t\mid x,y_{<t})\) 接收到的是专家写出的前缀；推理时接收到的却是学生自己写出的前缀。示范越偏离学生，训练与实际执行之间的上下文差异就可能越大。
但不要把这条 KL 恒等式直接读成“偏移必然导致遗忘”。学习新能力本来就需要改变分布；不同方向的变化也可能影响不同能力。RL’s Razor 与 Retaining by Doing 为这一动机提供分析和实验，结论仍依赖模型、任务及其假设。
二、两条路线：移动监督，还是移动数据？
| 路线 | 谁产生训练轨迹？ | 专家信息如何进入？ | 主要困难 |
|---|---|---|---|
| RL / GRPO | 学生 | 答案或奖励评估学生轨迹 | 全错组可能没有相对优势；正确轨迹稀少 |
| On-policy distillation | 学生 | 教师在学生前缀上给出下一 token 分布 | 教师打分成本及教师—学生能力差异 |
| MCMC + SFT | 从专家轨迹出发反复改写 | 验证改写是否保留专家信息 | 每个样本重新运行搜索链 |
| E2S + SFT | 学到的条件采样器 | 专家轨迹作为采样器输入，验证输出 | 学习近似采样器及保持分布覆盖 |
前两条路线把监督移到学生已经走出的轨迹上；后两条路线把示范改造成学生更容易吸收的轨迹。E2S 与 MCMC 的目标接近，关键区别是是否把搜索经验保存在共享参数中。MCMC 为每一道题重新搜索，E2S 则希望一题上的训练能改善其他题上的采样。
还需要区分参考论文中的理想 MCMC 与实际基线：Finetuning with Sampling 的附录为了省去反向提议打分，使用“高似然候选优先替换”的近似，生成数据正确率也不是 100%。因此两种方法共享理论动机，不等于实验中都精确采到了同一个受约束分布。
三、真正的目标不是“最可能的正确答案”
令 \(\tau\) 为专家轨迹，\(C_\tau\) 为满足其语义约束的回答集合。数学题可以要求最终答案正确；知识任务则可能要求保留关键事实，后者更依赖评估器。固定学生检查点的分布记为 \(p_{\mathrm{ref}}(y\mid x)\)。希望找到：
\[ q^*=\arg\min_{\operatorname{supp}(q)\subseteq C_\tau} D_{\mathrm{KL}}(q\|p_{\mathrm{ref}}). \]在 \(Z_\tau=\sum_{y\in C_\tau}p_{\mathrm{ref}}(y\mid x)>0\) 时，解为：
\[ q^*(y\mid x,\tau)= \frac{p_{\mathrm{ref}}(y\mid x)\mathbf 1[y\in C_\tau]}{Z_\tau}. \]这来自 Finetuning with Sampling 的信息投影。对任何满足约束、且 KL 有限的 \(q\)，有：
\[ D_{\mathrm{KL}}(q\|p_{\mathrm{ref}}) =D_{\mathrm{KL}}(q\|q^*)-\log Z_\tau. \]第二项是常数，第一项在 \(q=q^*\) 时取最小值。这个推导说明：专家筛选支持集，学生保留支持集内部的偏好。例如，学生原本给两个正确方案分配 6% 和 3% 的概率，受约束分布会把它们变成 \(2/3\) 和 \(1/3\)，而不是只保留概率最高的方案。这里的数值是解释性例子，不是实验结果。
因此，“更 on-policy”要精确理解为受约束的学生分布，并非完全不加条件的原始学生采样。即使匹配完全成功，距离原学生仍有 \(-\log Z_\tau\) 的最小 KL。若正确解极少，所需变化可能依然很大。
这也揭示一个边界：若学生对所有有效答案都给零概率，\(Z_\tau=0\)，该条件分布无法定义。实际语言模型通常给许多 token 序列非零概率，但“非零”不等于计算上容易发现；采样器和专家提示负责跨越的是这个实际困难。
四、用 GFlowNet 学习未知归一化常数的分布
我们可以给某个回答计算 \(R_\tau(y)=p_{\mathrm{ref}}(y\mid x)\mathbf1[y\in C_\tau]\)，却不能穷举所有回答算出 \(Z_\tau\)。GFlowNet 的用途是：学习一条逐步生成策略，让完整结果的概率与给定的非归一化奖励成比例，而不是只寻找最高奖励结果。
对自回归文本，一个完整 token 序列对应一条生成路径，序列概率是各 token 概率的乘积，包含终止 token。有效回答上的 trajectory balance（TB）残差可以写成：
\[ \ell_{\mathrm{TB}}(y)= \big[z_\tau+\log q_\phi(y\mid x,\tau)-\log R_\tau(y)\big]^2. \]\(\phi\) 是采样器参数，\(z_\tau\) 是共享的对数偏移。在这个理想推导中，假定 \(q_\phi\) 是只支持有效集合的归一化分布；若所有有效回答上残差都为零，才有 \(z_\tau=\log Z_\tau\)。这里“所有”很重要：有限训练组上的拟合不能证明全局覆盖。允许原始生成器输出无效回答时，偏移含义还要按下文的接受率修正。
把归一化常数变成组内中心化
为什么必须匹配概率比，而不是直接让采样器生成学生分数最高的答案？假设有效解法只有代数法和几何法，学生偏好前者，但后者也占有实质概率。最大化学生分数会把质量集中在单个最优解上；条件采样则希望在过滤错误答案后，仍保留两种解法之间的比例。这是优化一个样本与学习一个分布的差别，也是这里使用 GFlowNet 的理由。
对同一 \(x,\tau\)，收集 \(K\ge2\) 个有效回答，定义：
\[ a_i=\log q_\phi(y_i\mid x,\tau)-\log p_{\mathrm{ref}}(y_i\mid x), \qquad \bar a=\frac1K\sum_i a_i. \]固定这些回答，最小化 \(\frac1K\sum_i(z+a_i)^2\) 时有 \(z=-\bar a\)。代入得到：
\[ \mathcal L_{\mathrm{sampler}}=\frac1K\sum_i(a_i-\bar a)^2. \]这里调节的是概率比的相对失衡：相对组平均偏高的回答被采样器过度表示，偏低的回答则表示不足。它与 GRPO 都使用组内信息，但优化对象不同：GRPO 通常中心化结果奖励，E2S 中心化的是采样器与学生之间的序列 log-probability 差。
固定组内样本时，是否对 \(\bar a\) 停止梯度不改变该平方损失的梯度，因为 \(\sum_i(a_i-\bar a)=0\)。不过，这不意味着可以忽略采样策略的变化：博客算法每次用新采样组做一步更新，把采到的回答视为固定；复用旧 rollout 需要另行处理 off-policy 偏差。
把组损失展开：它究竟在教什么？
下面是独立构造的教学例子，不是作者实验。固定学生在两个有效回答上的概率为 0.08、0.02，正确条件分布就是 0.8、0.2。若采样器已经只输出有效回答，却给它们各 0.5，两个 log gap 分别为 \(\log(0.5/0.08)\) 与 \(\log(0.5/0.02)\)。第二条回答的 gap 更大：采样器给了它相对学生偏好过多的质量，所以平方残差的下降方向会降低它的相对概率，并提高第一条。
在同一组固定样本上，方差损失还能写成：
\[ \frac1K\sum_i(a_i-\bar a)^2 =\frac1{2K^2}\sum_{i,j}(a_i-a_j)^2. \]因此它比较的是两条回答之间的 log 概率比：\(a_i-a_j=\log(q_i/q_j)-\log(p_i/p_j)\)。等式通过展开平方、利用 \(\sum_i a_i=K\bar a\) 直接得到。未知常数消失，是因为目标只要求相对比例一致；不是因为真实归一化常数已经被精确算出来。
这也解释了两个容易被忽略的条件。第一，若每题只有一条有效回答，方差恒为零，根本没有比例信息。第二，若每组总是同一类答案，低损失只能说明这类答案内部的比例一致，不能告诉我们另一种解法在哪里。增加组大小能改善比较机会，却不能凭空保证搜索覆盖。实际训练要同时监测组内不同回答数、不同推理簇数，以及跨轮次的覆盖变化。
有效集合之外的成本去了哪里？
原始采样器可能生成无效回答。设它的有效输出概率为 \(A_\phi>0\)，则有效回答的条件分布为 \(q_\phi^+(y)=q_\phi(y)/A_\phi\)。改用 \(\log q_\phi^+\) 会给每个 \(a_i\) 减去同一个 \(\log A_\phi\)，所以组内中心化把这项抵消了。
但 TB 偏移不能因此混用：有效条件分布精确匹配时，它的偏移为 \(\log Z_\tau\)；若直接使用原始 \(q_\phi\) 的 log 分数，则对应偏移为 \(\log Z_\tau-\log A_\phi\)。中心化后的残差相同，并不意味着两种分布的归一化常数相同。
被抵消的是未知常数，不是无效输出的成本。如果采样器只有很低接受率，这个损失本身没有直接要求它消除无效概率质量；正确性检查仍决定哪些样本进入 SFT。实现时应记录原始生成数、接受数、验证成本，而不能只报告保留下来的样本数。
同样，必须使用与实际采样分布一致的完整序列分数。平均 token log-probability、改变温度或 top-p 截断都可能改变目标；不能把它们作为“无害的打分优化”混用。
五、Offline 与 Online：固定学生，还是跟踪学生？
Offline：冻结起始学生 \(\theta_0\)，训练采样器，生成固定数据集 \(D^*\)，最后对学生做 SFT。优点是数据和训练容易分离、重现；缺点是学生更新后，固定数据仍匹配旧学生。
Online：每轮先冻结当前学生，适配采样器并生成新数据；再关闭采样器，对学生做 SFT；下一轮重新适配更新后的学生。它解决的是目标分布随学生变化的问题，而不是把 SFT 换成新的 RL 损失。
实现上，作者使用学生骨干加 LoRA 适配器。启用适配器时，采样器看见 \(x,\tau\)；禁用适配器时，学生只看 \(x\)。采样器训练冻结骨干，学生 SFT 禁用适配器。因此训练时的专家信息不是测试时学生额外拥有的信息。Online 改动骨干后，同一组 LoRA 参数所定义的采样分布也会受影响，继续适配是算法的一部分。
# 解释性伪代码；不是可直接运行的官方实现。
for expert_batch in schedule:
freeze(student)
sampler = fit_sampler(
sampler, student, expert_batch, fresh_valid_groups=True
)
targets = generate_and_validate(sampler, expert_batch)
disable_sampler_adapter()
student = sft(student, prompts_and_targets(targets))
# Offline: 所有 targets 先生成完，再训练固定学生。
# Online: 下一轮对更新后的 student 重新适配 sampler。六、实验究竟比较了什么？
博客使用 Qwen2.5-3B、MATH level 3–5 的 8,230 道训练题和 1,024 道留出 MATH 题。Math avg. 是 MATH、AMC、MATH500、GSM8K 四项准确率的等权均值；Prior avg. 是 Chemistry、MMLU、GPQA 三项的等权均值。不是把所有测试样本混在一起计算的准确率。
| 方法 | MATH | AMC | MATH500 | GSM8K | Chemistry | MMLU | GPQA |
|---|---|---|---|---|---|---|---|
| Base | 31.5 | 13.3 | 24.5 | 57.9 | 28.3 | 65.1 | 33.3 |
| Expert SFT | 24.3 | 10.0 | 16.8 | 45.5 | 22.2 | 64.8 | 29.8 |
| OPSD | 26.7 | 8.4 | 33.2 | 52.4 | 24.2 | 65.2 | 31.3 |
| GRPO | 45.7 | 24.9 | 31.3 | 80.8 | 27.8 | 65.2 | 31.3 |
| UFT | 47.0 | 29.3 | 29.7 | 74.6 | 28.3 | 65.3 | 32.8 |
| MCMC + SFT | 49.5 | 27.7 | 58.2 | 78.2 | 26.6 | 65.1 | 34.3 |
| E2S-Offline | 51.5 | 28.9 | 61.0 | 80.6 | 28.0 | 65.1 | 33.3 |
| E2S-Online | 56.3 | 32.5 | 65.4 | 83.2 | 28.2 | 65.1 | 33.3 |
Math avg. 中，Offline 相对 MCMC + SFT 增加 2.1 个百分点（55.5−53.4），Online 增加 6.0 个百分点（59.4−53.4）；后者约为 11.2% 的相对增幅。不要把百分点与相对百分比混为一谈。
Online 的 Prior avg. 显示为 42.2%，与起始模型相同，但逐项 Chemistry 从 28.3 到 28.2，GPQA 从 MCMC 的 34.3 到 33.3。均值相同不等于每项能力完全不变，三项基准也不能代表全部知识、指令遵循、安全性或语言能力。
比较支持“这个流程在该设置下改善了学习—保留权衡”，但还没有隔离采样器机制。基线不是作者逐项在统一框架中重跑；博客没有给出等总计算量对照、接受率、误差条或重复种子分析。不能据此断言 E2S 必然更快、对所有模型都更有效，或者提高来自某个唯一组件。
七、多采样的收益，是否就是多样性的收益？
另一组 Offline 扩展实验固定 8,230 道专家题和已训练采样器，分别为每题生成 1、2、4 个有效回答：
| 每题回答数 | SFT 回答数 | Math avg.（%） |
|---|---|---|
| 1 | 8,230 | 55.0 |
| 2 | 16,460 | 56.3 |
| 4 | 32,920 | 57.2 |
1× 到 4× 提高 2.2 个百分点，说明不增加专家题目也能从额外生成回答中获益。一种合理的解读是，专家信息可以通过多种学生友好的表达进入训练；但数据量与 SFT 计算也同时增加，因此这不是对“解法多样性”的单独测量。
我会优先补一个对照：同样 4× 的 token 预算，一组重复同一回答，另一组使用四次采样；再比较不同推理簇的覆盖率、正确率和迁移。如果复制控制也获得同样收益，“多样性”就不是必要解释；如果多样样本在等预算下仍更强，因果故事才更有说服力。
八、阅读时要守住的四条边界
- 语义约束不是无误的神谕。最终答案验证可能放过错误推理，LLM 事实评估器可能漏掉关键内容；此时采样器忠实匹配的只是评估器允许的集合。
- 分布目标不等于训练结果。正确的目标具有多个模式，有限采样器仍可能只覆盖容易到达的模式。低组内损失不能证明没有模式坍缩。
- 低偏移不是永远应当坚持的目标。若原学生恰好偏好错误结构，保留其偏好可能限制新技能学习；需要检查约束能否纠正实质错误，而不是只过滤答案。
- 摊销优势需要足够多的后续采样。应把适配器训练、学生打分、生成、拒绝和验证统一换算成 token / GPU 时间，并报告生成数据被多少次复用。
最有判别力的后续实验，应同时控制总训练预算和有效样本数，比较专家 SFT、MCMC + SFT、Offline 和 Online，再测接受率、序列概率差、推理模式覆盖和逐项保留。这比继续增加一个准确率均值更能回答“为什么有效”。
九、延伸：数据生成不再是训练之前的一次性工作
以下是基于这些方法的延伸分析，不是 E2S 已经完成的实验。传统流程往往先收集一个“高质量数据集”，再问应该用什么算法训练。E2S 提醒我们，数据质量还含有一个相对量：对哪一个学生、在什么训练阶段高质量？同一份正确示范，对较强学生可能提供一个新技巧，对较弱学生却可能是一串难以连接到已有行为的符号。专家是否正确与学生是否容易吸收，是两个不同评价轴。
理想 Online 更新为什么能看作自举？
固定问题，令 \(C\) 是有效回答集合、\(Z_t=p_t(C)\)。假设采样器精确生成 \(p_t(\cdot\mid C)\)，学生又有足够表达能力，完成下面这个解释性的分布混合：
\[ p_{t+1}=(1-\eta)p_t+\eta p_t(\cdot\mid C),\qquad 0<\eta\le1. \]那么 \(p_{t+1}(C)=(1-\eta)Z_t+\eta\)，正确质量增加 \(\eta(1-Z_t)\)。这个简单计算说明：即使没有增加新专家题，也可能通过把现有分布的正确部分反复放大而改善单次成功率。它不是实际 Transformer 的更新公式或收敛证明：真实 SFT 在共享参数中发生，一题的改变会影响其他题，采样器也有偏差。
更关键的是，这个理想过程保持有效集合内部的概率比。若一种正确解法起初几乎没有质量，它不会仅因为重复条件化就自动变成主要模式。于是“提高正确概率”与“扩展可用知识或解法范围”需要分开测量。专家条件化可能帮助找到难以采到的模式，但它能否改变学生真正掌握的组合能力，要看无专家输入的新题测试，而不能只看训练题的过滤后正确率。
摊销何时值得：把直觉写成成本账
设训练采样器一次需要成本 \(C_{\mathrm{fit}}\)，之后每个有效样本的生成、拒绝和验证成本合计为 \(c_E\)，MCMC 每个有效样本的搜索成本为 \(c_M\)。在两者样本质量和后续 SFT 条件可比的前提下，生成 \(N\) 个有效样本时，E2S 的数据准备更便宜需要 \(C_{\mathrm{fit}}+Nc_E<Nc_M\)。若 \(c_M>c_E\)，分界是 \(N>C_{\mathrm{fit}}/(c_M-c_E)\)；否则仅靠增加样本数也不会获得这种成本优势。
这不是博客报告的测量，而是一份实验应填写的账单。它还忽略了 Online 每轮重新适配、模型骨干改变后的采样器维护，以及不同方法的验证器调用。把这些补齐，才知道“搜索经验变成参数”在什么数据规模上真正合算。可复用性是一种潜在资产，不是免费的效率结论。
从重写数据到课程学习，还差什么？
可以进一步设想一个同时选择“教哪道题”与“怎样表达答案”的课程。E2S 当前的条件目标主要解决后一个问题；前一个问题还需要估计题目可学性、生成成本和预期迁移收益。只挑学生最容易接受的题可能限制成长，只挑最难的题又可能浪费采样。因此下一步不应仅优化接受率，而应在等预算下测量每个有效样本带来的无提示泛化增益。
这把 E2S 与 UFT、OPSD 接起来：UFT 用提示改变学生进入的状态，OPSD 在学生状态上改变监督，E2S 改变最终供学生学习的轨迹分布。三者可以有互补空间，但组合必须检查信息泄漏、额外计算与信号冲突，不能把各自的提升直接相加。
十、怎么读这条研究线？
这些工作不是同一种算法的不同名字。可以按“分布偏移的原因 → 学习目标 → 如何采样 → 如何实现”来读：
- 为什么遗忘：RL’s Razor、Retaining by Doing。
- 原来的训练路线：DeepSeekMath / GRPO、Self-Distilled Reasoner、UFT；另读 Thinking Machines 的 OPD 博客。
- 把数据变得可学习：Finetuning with Sampling。
- 从最优奖励转向匹配分布：Flow of Reasoning、GFlowVLM、FlowRL、GFlowRL；概念背景见 Bengio 的 GFlowNet 博客。
结语：先定义该教的分布，再选择学习算法
E2S 最值得带走的不是“GFlowNet 又赢了一次”，而是把知识内容与传授形式分开：专家负责确定不能丢掉的信息，学生分布负责确定可以怎样表达，采样器负责把这个要求变成训练数据。它让“数据生成”成为模型适配的一部分；现有结果值得跟进，但效率、覆盖与广泛保留还需要更严格的证据。
参考与核对位置
[1] Haoqiang（Murray）Kang. E2S Finetuning: From Expert Demonstrations to On-Policy Learning, 2026。核对位置：Target distribution、Amortize the target、Implementation details、Experiments、Diversity scaling。本文两张结果表均依据该博客，不是独立复现实验。
[2] Aayush Karan, Sitan Chen, Yilun Du. Finetuning with Sampling: SFT Learns Better Than You Think。信息投影、MH 采样和被引用基线的原始论文；其他文献见上方独立解读及原文参考列表。
Contact
There may be some errors present. If you find any, please feel free to contact me at wangqiyao25@mails.ucas.ac.cn. I would appreciate it!