📖 Qiyao Wang's Blog

从稀疏奖励与专家省略，到混合采样、双 KL 的目标分布和多次采样覆盖，分析自蒸馏的有效条件。

从反向思维链到三层锚定指标、骨架信息通道与 SSR-D 蒸馏，检查新任务收益和旧能力保留。

从受约束信息投影到组内中心化，重建 Offline / Online E2S 的算法、实验和失效边界。

分布距离、学习—保留前沿与信息投影：把经验相关性和理论保证分开读。

对照 SFT、Self-SFT、RL 与动态刷新，追问状态分布、优化目标和遗忘之间的因果关系。

推导组相对优势，区分工具与投票预算，并用 Pass@K / Maj@K 检查能力覆盖。

信息投影、MH 接受率与近似改写实现；完整对照数学、化学和医疗的学习—保留结果。

TB 残差、参考分布、长度归一化和重要性权重，为什么理想目标与工程实现需要分开。

读懂 DAG 流、log-variance 训练、局部搜索，以及多样性和创造性指标的真实含义。

对照三种平衡目标，检查历史、奖励塑形、SFT 初始化与离线高质量轨迹各自的贡献。

随机替换、组内估计与 flow-gap clipping；检查固定点结论、长度偏置和数值口径。

全词表蒸馏、信息不对称、clipping 和短 rollout；分清前向 KL 与采样 token 的反向 KL。

拆开探索与知识注入，推导前缀监督加后缀强化，并审查样本复杂度与完整实验结果。