UFT：用逐渐缩短的提示连接监督学习与强化学习

当模型从来采不到正确解，稀疏奖励就难以告诉它该往哪里走；但直接做 SFT 又可能把已有推理分布压成有限示范的风格。Unified Fine-Tuning（UFT）把这两件事拆开处理：用逐渐缩短的解题提示帮助探索，并对提示本身施加监督。它的价值不是证明 RL 或 SFT 谁更高级，而是展示额外轨迹信息如何改变学习难度。

六个关键结论

• 问题：较弱模型在长推理树上极少命中正确叶子，奖励只能确认失败，不能充分提供缺失知识。
• 机制：从参考解前缀开始采样后半段，结合 RL 后缀目标和提示前缀的 log-likelihood，再逐渐消除提示。
• 证据：跨任务平均的 Qwen2.5-0.5B 得分为 UFT 9.45、RFT 3.25、SFT-RFT 7.28；3B 上则 RFT 32.15 高于 UFT 30.93。
• 实践：专家轨迹既是训练标签，也可以是探索课程；二者的作用必须分别消融。
• 代价：需要完整解和可靠的前缀切分；有提示的训练状态不等同于无提示部署状态。
• 开放问题：超出当前模型能力的任务上，应该给多少提示，才能学会而不是形成提示依赖？

把“能碰到答案”和“能学到答案”分开

UFT 的前因不是把两个成功算法机械相加，而是观察到弱模型的一个两阶段困难。第一，它要在巨大的推理树中碰到正确路径；第二，即使偶尔碰到，最后一个正确性奖励也可能不足以告诉它哪些中间知识应该留下。SFT 给了第二种信息，但要求模仿固定完整轨迹；朴素 RL 留了探索自由，却可能连第一个成功都等不到。

给提示可以降低剩余探索深度，但学生看见一个正确前缀、然后完成后缀，不代表它在没有提示时能自己产生前缀。这就像老师替你完成关键代换，你随后算对最后几步，并不能证明你学会了代换。因此 UFT 同时对提示施加监督，并逐渐减少提示，试图让“借来的正确状态”变成学生自己可到达的状态。

论文中的 RFT 指 reinforcement fine-tuning，不是某些文献中 rejection sampling fine-tuning 的缩写。朴素 RFT 从问题根节点开始，直到终点才获得奖励。UFT 从专家路径的某个中间状态开始，相当于减少要自主解决的剩余深度。但只改变起点并不保证模型会学会被跳过的前半段，因此还需要提示前缀的监督项。

提示课程与统一目标

把参考解分为 \(L\) 个片段，采样提示长度 \(l\sim\operatorname{Binomial}(L,p_t)\)，于是 \(\mathbb E[l]=Lp_t\)。\(p_t\) 通过余弦退火下降；实际配置前 300 步使用提示，之后强制 \(l=0\)，总共训练 500 步。要注意退火末端设置的低概率 0.05 与随后直接置零不是同一回事。

令专家状态—动作前缀为 \((s_h^\star,a_h^\star)\)，学生从 \(s_l^\star\) 继续生成后缀。原目标可写为：

\[ \begin{aligned} J_{\mathrm{UFT}}=\mathbb E\Big[&J_{\mathrm{value}}(\text{学生后缀}) -\beta\sum_{h=l}^{H-1}D_{\mathrm{KL}}\big(\pi_\theta(\cdot\mid s_h)\|\pi_{\mathrm{ref}}(\cdot\mid s_h)\big)\\ &+\beta\sum_{h=0}^{l-1}\log\pi_\theta(a_h^\star\mid s_h^\star)\Big]. \end{aligned} \]

这里的期望同时覆盖提示长度 \(l\)、专家前缀，以及学生从 \(s_l^\star\) 出发生成的后缀；\(H\) 是轨迹的总时域。\(J_{\mathrm{value}}\) 仅表示奖励或其策略优化代理项，不含下方已经显式写出的参考 KL，避免把 KL 惩罚计算两次。每个 KL 都是在对应后缀状态 \(s_h\) 上的动作分布 KL，\(\beta>0\)。

第一项优化探索后的收益，第二项避免后缀策略远离参考模型，第三项要求模型学会提示。\(l=0\) 时监督项消失，退化成 RFT；给出完整轨迹时自主探索部分消失，退化成 SFT 型学习。这里不是随便把两个 loss 相加：同一条解被划分成被教的前缀与自己探索的后缀。

理论上第三项可视为对未知最优策略的前向 KL 的样本估计，但“参考解来自最优策略”是分析假设，不是任意现实标注都天然满足的事实。错误或冗长前缀同样会被吸收到参数中。

用一条四步解，看两种信号各训练哪里

独立构造一个教学例子：参考解分为建模、代换、化简、求值四段，当前提示长度为 2。采样时，学生直接看到前两段，从化简开始探索；RL 信号作用于自己生成的后两段，前缀 log-likelihood 则训练它从问题出发写出建模与代换。这个划分解释了监督项为什么不能省：没有它，前两段总是外部提供，学生没有直接学会从根节点走到该中间状态的要求。

当 \(l\sim\operatorname{Binomial}(4,0.5)\) 时，期望长度是 2，但每次并不固定给两段；有时多、有时少。抽到 \(l\) 后给的是完整解的前 \(l\) 段，不是独立随机挑出几句话。保留连贯前缀让续写状态有意义，同时长度随机化使训练接触到相邻难度，而不是突然从一个固定台阶跳到另一个。

随着提示变短，学生需要自己完成的范围变大；最后无提示更新才与部署条件一致。这是一个状态访问课程，不只是把 SFT 权重按时间调小。提示中的监督与后缀中的奖励仍共享模型参数，可能互相帮助，也可能因专家风格与学生偏好不同而冲突。

为什么监督提示不等于把答案泄漏给测试？

训练时的专家前缀作为 privileged information，确实提供额外信息；公平论证应明确这一点。它可以合法用于训练，只要评价时移除提示，并确保测试题参考解没有进入训练输入或模型选择过程。真正要判断的是额外训练信息是否被内化，而不是训练阶段是否曾见到答案。

因此可以同时画有提示与无提示验证曲线。若前者迅速升高、后者迟迟不动，说明系统更会利用帮助，却未证明独立求解改善。还可以在含相同技巧的新组合题上测试：记住题目开头与掌握解题知识的区别，会在这里显现。

完整方法对照：先看跨任务平均

作者分别在 Countdown、MATH 难度 3–5、Knights and Knaves 逻辑题上训练，并在九个基准上报告结果。下表保留附录综合表的全部六种方法、五个模型，列出其跨训练任务聚合后的九基准平均（%）。它不是“只在 MATH 训练”的专门模型成绩，也不能与 E2S 的四数学基准均值直接相比。

方法	Qwen 0.5B	Qwen 1.5B	Qwen 3B	Llama 1B	Llama 3B
Base	1.55	14.29	17.13	0.01	0.00
SFT	4.46	9.36	15.25	2.49	3.85
RFT	3.25	16.08	32.15	0.80	0.01
SFT-RFT	7.28	11.70	17.34	3.29	4.79
R³	7.36	18.65	28.02	2.20	5.03
UFT	9.45	22.23	30.93	3.52	3.72

R³ 使用整个训练期间的均匀提示长度，SFT-RFT 先监督再强化。UFT 在 Qwen 0.5B、1.5B 和 Llama 1B 上平均最好，但没有统治 Qwen 3B 或 Llama 3B。跨任务平均会掩盖特定任务的收益，Llama 3B 尤其提醒我们不要把“引入专家提示”写成无条件优势。

主要配置为每题 4 次 rollout、回答上限 1,024 token、\(\beta=0.001\)。作者展示 UFT 因提示减少生成后缀，单步成本低于 RFT；然而 SFT-RFT 还多出 SFT 阶段，严格效率对比应把所有阶段的 GPU 时间与专家数据成本一并计入，不能只比较 RL 步数。

消融：提示之外的监督确实重要

只用余弦提示课程的 RFT 仍不及加入提示监督后的 UFT，说明“更容易碰到正确答案”不足以解释全部收益。Qwen2.5-0.5B、Countdown 上 \(\beta=0.0005/0.001/0.002\) 的准确率分别为 46.09/50.39/59.95；这表明监督权重有实质影响，不能称为完全免调参。MATH(3,4,5) 的提示片段数 \(L=4/5/6\) 对应 27.44/27.15/25.20，也只能支持该局部范围内相对稳健。

指数改进的理论，改进了哪一个问题

在分支因子 \(B\)、高度 \(H\) 的构造搜索树上，稀疏终点奖励可能要求探索至少 \(B^H/(4K)\) 个叶子，\(K\) 是正确叶子数。使用额外专家路径的理论版本，在适当参数条件下给出 \(O(BH^5(\log B)^2/\Delta^2)\) 级别的界，\(\Delta\) 是奖励间隔。

这个对照说明专家信息能绕开纯黑箱探索的困难，不是证明实际神经网络训练遵循该速率。上界使用论文附录的理论更新规则，和实践中的 GRPO 配置不应直接等同；有专家路径与没有专家路径也不是信息预算相同的两种算法。理论的正确阅读方式是识别瓶颈和额外信息价值，而非估算真实 GPU 加速倍数。

延伸：应当根据什么减少提示？

以下是本文的延伸分析。按训练步数余弦退火是简单、平滑的课程，但它不看具体题目。有些题学生早已能独立完成，继续给提示可能浪费探索；有些题仍从未成功，提示过早移除又可能让奖励信号消失。于是自然出现一个问题：课程是否应按学生的可验证掌握程度，而非统一时钟变化？

可尝试逐题或逐题型评估无提示成功率，再决定下一轮提示长度。不过成功率估计也需要 rollout，难题会产生高方差；若单纯按成功率调节，模型可能长期依赖提示，始终没有足够的无提示训练。设计必须保证所有组有可比的最终无提示更新，并把诊断采样也计入预算。

更进一步，固定专家前缀可能不是最适合学生的帮助。能否先生成满足正确约束、但更贴合学生的前缀，再逐步撤掉它？这将 UFT 的探索课程与 数据适配、E2S 接起来。它是有动机的组合方向，不是这些论文已经报告的叠加收益。

需要提防的失败模式是提示太“贴近”学生却漏掉关键新知识，或过于直接给出答案而削弱探索。可以固定参考解的信息量，改变表达和提示位置，比较无提示泛化、成功覆盖、旧任务保持与总计算。只有这样，才能判断课程帮助的是获取知识、寻找正确路径，还是暂时降低任务难度。

实践建议与下一步

先诊断失败来自极低命中率还是示范分布冲突。前者适合提示课程，后者需要更贴合学生的轨迹，例如 E2S。最有辨别力的实验是固定总 token/GPU 预算，交叉比较“有无提示课程”与“有无提示监督”，并让各组最终经历相同数量的无提示更新；另外在新组合题上测量泛化，以排除单纯记忆参考前缀。

结论

UFT 的深层启示是：示范可以同时改变访问到的状态和参数更新携带的信息。它提供了连接探索与监督的可实现路径，但“学到新知识”的宽泛说法仍应以无提示、分布外、等预算的实验来检验。

参考资料

UFT: Unifying Supervised and Reinforcement Fine-Tuning：方法目标、理论两类界、实验与附录完整结果表。本篇数值取自下载的 TeX，不使用不同版本或不同聚合条件的结果互相替代。

Contact