Finetuning with Sampling：把专家轨迹改造成学生友好的数据

SFT 与 RL 的差异，有多少来自学习目标，有多少来自喂给它们的数据？Aayush Karan、Sitan Chen 与 Yilun Du 的 Finetuning with Sampling 把问题推向数据侧：从专家轨迹出发，用 MCMC 生成语义等价、但对目标学生更“自然”的轨迹，再照常做 SFT。Qwen2.5-3B 数学实验中，四项数学平均准确率从专家 SFT 的 24.2% 提高到 Sampling SFT 的 53.4%；这是特定数据、采样预算与超参数搜索下的结果，不是对所有 SFT 的否定。

六个核心判断

• 问题：专家拥有学生缺少的信息，但专家的完整写作轨迹可能离学生分布很远。
• 机制：先定义“保留信息且最接近学生”的条件分布，再用 Metropolis–Hastings 近似采样。
• 证据：数学、化学和医疗实验呈现不同的学习—保留权衡；医疗任务中方法并未超过 OPSD 的新任务准确率。
• 实践：训练数据不是与模型无关的固定教材，应按准备学习它的检查点进行适配。
• 代价：搜索发生在训练数据准备阶段，但长序列和多步重采样可能非常昂贵。
• 开放问题：有限步、分块近似与不完美语义验证距离理论条件分布有多远，需要独立测量。

一、把“新知识”与“专家写法”分开

这篇论文接在一个重要观察之后：学生自己的正确样本常有较好的学习—保留权衡，但弱模型可能根本采不到足够多正确样本。朴素 self-training 只保留成功尝试，会把最需要专家教学的题排除在训练之外；直接使用强教师答案，又可能让学生去拟合并不适合自己的推理轨迹。两种办法分别缺少专家信息和学生适配。

作者选择的中间路线是：专家先提供一个可靠起点和语义要求，再借助学生本身的概率判断怎样改写。这里“用学生概率”并不是断言学生熟悉的东西一定更有教育价值，而是提出一个可检验假设：在保留所需信息的前提下，减少无关表达偏移，可能让有限更新更有效，也更少干扰已有行为。

普通 SFT 对完整示范做最大似然；GRPO 等方法则从学生轨迹中寻找可奖励的行为。前者容易获得专家信息，却承受分布偏移；后者贴近学生，但在学生很少采到正确答案时缺少信号。作者没有把两种损失简单相加，而是问：能否保留示范的重要信息，同时重新选择承载它的轨迹？

这不是让专家答案“更口语化”。同一句改写对不同模型可能具有不同概率。方法使用将接受训练的那个学生来打分，使“可学习性”成为模型相关的属性。

二、信息投影：最小变化必须满足什么约束？

固定问题，学生序列分布为 \(p(y)\)，语义上与专家等价的轨迹集合为 \(C\)。在只支持有效轨迹的分布中求最小 KL：

\[ p_C=\arg\min_{\operatorname{supp}(q)\subseteq C}D_{\mathrm{KL}}(q\|p) =\frac{p(y)\mathbf1[y\in C]}{Z},\quad Z=\sum_{y\in C}p(y)>0. \]

因为 \(D_{\mathrm{KL}}(q\|p)=D_{\mathrm{KL}}(q\|p_C)-\log Z\)，最优分布保留有效轨迹之间的原始相对概率。它不是“选概率最大的正确答案”，也不是把所有正确答案变成均匀分布。

数学与科学任务主要以正确结果定义约束；事实任务则要求保留事实内容，可能由 LLM 评估器判断。两种约束的可靠性并不相同。该形式化把目标分布是什么与如何判断有效分成两个问题，不能用漂亮的目标公式掩盖后者的不确定性。

三、MH 为什么不能只保留概率更高的改写？

从当前有效轨迹 \(y\) 提出候选 \(y'\)，提议分布记为 \(\kappa(y'\mid y,\tau)\)，其中 \(\tau\) 是专家信息。标准 MH 的接受概率为：

\[ A(y',y)=\min\left(1,\frac{p(y')\,\mathbf1[y'\in C]\,\kappa(y\mid y',\tau)} {p(y)\,\kappa(y'\mid y,\tau)}\right). \]

候选无效时拒绝；有效时，不仅比较学生概率，还要修正提议过程本来偏爱哪些候选。如果把提议比率删掉，通常就不再是同一个目标分布。偶尔接受较低概率候选也不是浪费，它使搜索有机会跨越不同模式，而非退化成贪心优化。

当正确 MH 转移核以 \(p_C\) 为平稳分布，且满足相应条件时，数据处理不等式给出：

\[ D_{\mathrm{KL}}(\pi_{k+1}\|p_C)\le D_{\mathrm{KL}}(\pi_k\|p_C). \]

由于有效支持集上的 KL 相差常数 \(-\log Z\)，相对原学生的 KL 也不增。这是分布层面的结论，不是“链上每条新轨迹的概率都增大”，更不是“每增加一步搜索，下游准确率一定增大”。收敛还需要不可约性、非周期性及足够的混合。

提议分布为什么不能从接受率里消失？

下面用一个独立构造的两状态例子解释。只有两个有效回答 A、B，学生目标概率相同；但改写器从 A 到 B 的概率为 0.9，从 B 到 A 只有 0.1。若看到有效且学生分数不低就总接受，链会更多停在 B，因为进入 B 容易、离开 B 困难，平稳比例成为 A:B=1:9，而不是 1:1。

MH 会将 A→B 的接受概率修正为 \(\min(1,0.1/0.9)=1/9\)，B→A 则为 1。于是两个方向的实际转移概率都为 0.1，才恢复目标对称性。这个例子说明，强大的专家条件改写器自带偏好；如果不修正它，最终数据可能主要反映改写器的习惯，而不是受约束学生分布。

MH 的详细平衡可写成 \(p_C(y)K(y'\mid y)=p_C(y')K(y\mid y')\)。在合适条件下，它保证目标是平稳分布；不可约性与非周期性再帮助链从起点趋近目标。但是复杂语言空间中，两个正确解法之间可能隔着很难生成的中间改写，十步搜索未必跨过去。正确平稳分布与有限预算混合速度，是两个独立问题。

四、语言模型里怎样运行这条链？

Algorithm 1 按 block 逐步扩展序列。每个阶段随机选切点，保留前缀，再把问题、专家轨迹与当前部分回答共同送入提议模型，让它在专家信息帮助下续写后缀；理论算法随后使用学生分数和提议分数接受或拒绝候选。这比每一步都从头生成完整回答便宜。

必须读附录的原因：Further Experimental Details / Sampling 明确说，为避免每次迭代额外估计反向转移概率，实验把交换条件近似为“候选的学生似然更高就交换”。这不是前文完整 MH 接受率。因此论文实际上同时提供了一个清晰的目标理论与一个有用的高似然改写启发式；不能把理想 MH 的精确分布匹配保证直接贴到这个实现上。

论文使用 block size \(B=32\)、最大长度 \(T=1856\)、每阶段 \(N_{\mathrm{MCMC}}=10\) 次 MCMC。SFT 的 epoch、学习率和 batch size 在给定网格中调优；医疗还扩展了 epoch 搜索范围。搜索和超参数选择都是完整流程的一部分。

论文近似的生成 token 成本是：

\[ \mathbb E[\mathrm{cost}] \approx |D|\frac{N_{\mathrm{MCMC}}T^2}{4B}. \]

它表达了长轨迹为什么昂贵：重采样后缀的累积成本近似随长度平方增长。这里是生成 token 估算，不是完整 GPU 时间；打分、长专家提示 prefill 和验证仍应计入。实际平均长度小于上限时，也不能直接把 \(T=1856\) 的代入结果当作实测消耗。

理论—实现边界：分块固定前缀是计算上的近似；“请保持信息”这样的提示不是语义保持证明。理想核的单调 KL 定理不能未经核对就扩大到所有提示、截断、温度和有限步实现。

附录的有效性检查也量化了这种差距：生成数据的正确率为化学 Qwen 94.33%、化学 Olmo 93.94%、数学 95.33%、医疗 95.86%。这些是处理后数据的正确率，不是下游模型测试准确率；它们说明实际数据并没有严格落在 100% 有效的支持集里。

五、训练、测试与基线要分开读

新任务	训练 / 测试	模型	评价重点
Chemistry L-3	1,800 / 600	Qwen2.5-7B-Instruct；另有 Olmo-3-7B-Instruct	科学技能；GPT-5 生成专家轨迹
MATH level 3–5	8,230 / 1,024	Qwen2.5-3B	留出 MATH 与 AMC、MATH500、GSM8K 迁移
Medical	HuatuoGPT-o1 SFT 的 19,704 题；另抽 1,000 测试题	Qwen2.5-7B-Instruct	GPT-5-mini 自动判断回答正确性

评价使用 single-shot accuracy。医疗评分不是临床验证，这里只讨论模型学习实验，不能把分数读成可部署的医疗可靠性。各任务的“旧能力”集合也不同：数学任务的旧能力是 Chemistry、MMLU、GPQA；化学与医疗则包含五项旧任务。

六、完整的数学方法比较

论文 Table mega_results 的数学部分，全部方法行；数值统一为准确率（%）。Math avg. 等权平均四个数学基准，Prior avg. 等权平均 Chemistry、MMLU、GPQA。

方法	MATH	AMC	MATH500	GSM8K	Math avg.	Prior avg.
Base	31.5	13.3	24.5	57.9	31.8	42.2
Expert SFT	24.3	10.0	16.8	45.5	24.2	38.9
OPSD	26.7	8.4	33.2	52.4	30.2	40.4
GRPO	45.7	24.9	31.3	80.8	45.7	41.4
UFT	47.0	29.3	29.7	74.6	45.2	42.1
Sampling SFT	49.5	27.7	58.2	78.2	53.4	42.0
Sampling SFT + RL	54.5	24.1	65.2	83.0	56.7	43.0

Sampling SFT 在 MATH500 上比 GRPO 高 26.9 个百分点，但在 AMC 上低于 UFT，在 GSM8K 上低于 GRPO。先 Sampling SFT 再 RL 又进一步提升平均值，说明这些学习方式可以互补，而不是非此即彼。

跨领域的结果并非同一种故事

同一主表的 Qwen2.5-7B-Instruct 化学与医疗部分，保留全部比较方法；旧能力均值使用对应五项基准。

方法	Chemistry	化学实验 Prior avg.	Medical	医疗实验 Prior avg.
Base	34.3	59.7	35.3	59.7
Expert SFT	61.8	52.0	44.8	35.3
Rewrite SFT	61.3	55.8	45.7	51.2
OPSD	61.8	56.8	46.6	50.1
Sampling SFT	66.0	58.6	45.8	51.6

化学中，采样方法同时改善新任务和保留；医疗中，新任务分数仍低于 OPSD，优势主要在保留。医疗的旧能力均值从 Base 59.7% 降到 51.6%，仍有 8.1 个百分点损失。“忘得更少”不能改写成“完全不忘”。

七、诊断支持了什么，又留下什么？

论文比较原示范与处理后示范在学生下的长度平均 log-likelihood，后者更高；比较 0、2、4、6、8、10 步搜索，数据更贴近学生且下游准确率总体提高。Rewrite SFT 是重要对照，因为它检验“只改写一次”能否解释全部收益，化学结果显示不能。

附录还把适配 Olmo 的数据喂给 Qwen，表现变差，支持“数据适配具有学生特异性”。不过，多步搜索也带来额外计算和潜在的数据质量选择，现有诊断不能完全把这些因素分离。

作者用 Olmo 化学 pass@k 曲线及原模型在有限采样下从未解出的题，论证收益不只是概率锐化。更保守的解读是：这显示有限采样预算下可达解题能力拓展；“一次也没采对”不等于数学上正确解概率为零，不能据此证明支持集凭空增加。

我最希望补的实验是：等有效训练 token、等总预算下比较专家重复数据、一次改写、多步 MH 与近似条件采样；同时检查语义判定误差和独立推理模式的覆盖。否则，数据更贴近学生与性能更好仍可能只是多个共同变化的相关性。

单调 KL 定理约束的不是每一条轨迹

设理想转移核为 \(K\)，从某个数据分布 \(\mu\) 出发，完整一步输出分布为 \(\mu K\)。由于 \(p_CK=p_C\)，KL 的数据处理不等式给出 \(D_{\mathrm{KL}}(\mu K\|p_C)\le D_{\mathrm{KL}}(\mu\|p_C)\)。它比较的是把所有接受与拒绝随机性平均后的分布，而不是一条实际运行链上的序列分数。

因此链完全可能接受一个学生概率更低的有效回答，同时让总体分布更接近目标。反过来，始终挑高似然回答可以使样本平均似然上升，却逐渐只剩一种高概率模式。用“生成样本看起来更自然”评估改写质量是有用诊断，但不能替代真实分布覆盖测量。这也是为什么附录中的贪心近似值得单独说明。

语义等价的定义决定了到底保留什么知识

若有效集合只要求最后数字相同，错误中间步骤也可能通过；若要求复述所有事实，改写器又可能保留大量与任务无关的措辞。约束过松会允许信息流失，约束过紧会把重新表达的自由度拿走。理论里的 \(C\) 是一个集合，实际系统里的 \(C\) 却是一套评分程序，它的误差会直接改变训练目标。

一个可做的诊断是抽样比较“最终答案验证”“逐步骤验证”“关键事实覆盖”定义下的数据，记录接受率、长度与下游泛化。这里不预设越严格越好：严格验证也可能偏向某一种证明表达。理想目标只有在约束本身对应我们真正要教的内容时才有意义。

八、为什么后续工作想学习一个采样器？

这篇论文首先把问题从“选择 SFT 还是 RL”改成“应该给学生什么分布”。E2S 接受这个目标，却不愿为每个样本重复搜索：它用 GFlowNet 学习跨样本共享的采样器。两者应比较目标逼近、覆盖和总成本，而不能只比较下游准确率。

延伸：适配数据能否成为一种可复用资源？

以下是延伸判断，而非论文已经解决的问题。论文中的跨学生数据对照提示，改写不是与模型无关的清洗；于是最好的训练数据可能需要携带“适配对象、生成检查点、约束定义、采样预算”这些元信息。单独保存问答文本，会丢掉为什么这份表达对某个学生有效的条件。

这也提出迁移问题：为小模型改写的数据是否仍适合更大模型，经过一轮 SFT 后是否还适合原学生，多个学生能否共享一个条件采样器？可以做“生成学生 × 接收学生 × 训练阶段”的交叉实验，控制有效样本和更新量。如果适配效果只在对角线上成立，它更像特定检查点的教学服务；若跨模型稳定迁移，才有机会成为可广泛复用的数据资产。

搜索成本又自然把研究推向 E2S：与其每题反复寻找，不如学习跨题共享的提议或生成策略。但它还需证明在未见题目上的有效性和覆盖，而不能仅说明训练题生成更快。前者解决有限步搜索的可执行性，后者试图解决重复搜索的摊销；两种困难并不会因为共用一个目标分布就自动消失。

结语：数据分布也是算法的一部分

值得学习的是一种研究顺序：先形式化信息必须保留到什么程度，再定义最小分布变化，最后选采样算法。理论目标清晰，使得“为什么改写有效”成为可检验的问题；有限计算下能逼近多少，才是下一个真正困难的研究问题。

参考与核对位置

Aayush Karan, Sitan Chen, Yilun Du. Finetuning with Sampling: SFT Learns Better Than You Think。核对版本：v1。重点位置：§4 信息投影与 Projection Sampling，§5 Experimental Setup / Table mega_results / Analysis，附录 Olmo。TeX 源码；作者代码。

Contact