GFlowVLM：视觉交互中的轨迹平衡、终止建模与多路径学习

GFlowVLM 把 GFlowNet 的多路径学习扩展到视觉—语言交互：模型看图、读取历史、生成推理，再选环境动作。论文在 NumberLine、Blackjack 与 ALFWorld 展示了正确率和路径多样性的收益；但真正决定效果的不只是一个平衡损失，终止动作、SFT 初始化、奖励塑形与离线高质量轨迹同样关键。

六个关键结论

• 问题：视觉决策需要感知、记忆与合法动作约束，多步推理不能只根据当前图像判断。
• 机制：让 VLM 成为历史条件化的前向策略，比较 Var-TB、SubTB 与 DB 三种平衡目标。
• 证据：ALFWorld 的 SubTB 平均成功率 26.1%，对照含历史的 RL4VLM 为 22.1%；OOD 分别为 12.3% 和 6.1%。
• 实践：[DONE] 与正确终止示范影响局部流的估计；只替换 loss 而不处理终止机制可能失效。
• 代价：更多历史与 CoT 增加上下文成本，外部成功轨迹和奖励塑形也改变训练信息预算。
• 开放问题：视觉感知误差与策略探索误差，哪一个是真正的瓶颈？改进能否转移到更开放的真实环境？

把历史写进状态，不是推翻 Markov 方法

这篇工作的前因，是把语言中的多步推理移到交互环境后，会出现新的失败点：模型看错了什么、忘记自己做过什么、选了不可执行动作，或者任务已经完成却不知道停下来。最终失败不一定来自解题策略差。因此 GFlowVLM 不能只被理解为“给 VLM 加一个 GFlowNet loss”，它实际连接了感知输入、历史提示、动作解析、环境反馈和终止建模。

同时，多条可用行为路径在交互中有实际意义：一个物体可以先取再移动，也可能先准备环境再取；不同观察或行动顺序有机会绕过局部失败。但我们必须先定义哪些动作差异代表真正的替代策略，再谈多样性。用流匹配鼓励多个路径只是训练目标，能否产生有用替代行为取决于环境和奖励。

策略条件包括图像 \(o_t\)、任务目标 \(g\)、历史状态与动作，以及环境给出的可执行动作集合。只看当前图像时，某些信息不可观察；把历史加入输入，可以缓解这一问题。论文称其为 non-Markovian 提示，但完整历史本身也可以作为增广的 Markov 状态，因此不能推出“PPO 天生不能处理长历史”。公平对照必须让 PPO 基线也获得相同历史。

动作集合还提供了强约束：在 ALFWorld 中模型从可执行动作中选择，而非完全自由地生成任何指令。将这种环境条件下的成功率外推到无约束真实机器人控制，缺少证据。

CoT、动作与三种平衡目标

VLM 先生成推理 \(c_t\)，再生成动作 \(a_t\)。原文用加权 log 分数：

\[\log P_F=\log P_{\mathrm{Action}}(a_t\mid c_t,\text{历史},g)+\lambda\log P_{\mathrm{CoT}}(c_t\mid\text{历史},g),\quad\lambda=0.4.\]

这是将行动学习与推理文本学习结合的工程权重。当 \(\lambda\ne1\) 时，该乘积并非自动归一化的联合采样概率；要严格使用 GFlowNet 的概率保证，必须明确实际概率、分数与归一化的关系，不能仅凭符号 \(P_F\) 就认定其满足所有假设。

Var-TB 让不同完整轨迹的隐式流量值保持一致：在完整历史组成的树上，\(P_B=1\)，可定义 \(\zeta(\tau)=\log P_F(\tau)-\log R(\tau)\)，最小化其组内方差。其正负号不影响方差，但与常见“隐式 \(\log Z\)”定义差一个符号，读附录时应留意。

SubTB 在若干连续子轨迹上检查平衡，DB 在单步检查平衡，监督更局部，却需要额外的中间流与终止概率估计。作者加入 [DONE] token，并用正确结束示范做 SFT 初始化。这里三种目标的差别，是监督范围与额外估计对象的差别，不只是三个名称。

为什么一个 [DONE] token 会决定局部平衡？

对可在当前历史 \(h\) 上终止的状态，设终止后奖励为 \(R(h\top)\)，终止动作概率为 \(P_F(\top\mid h)\)。在相应流平衡假设下，当前状态流满足：

\[ F(h)P_F(\top\mid h)=R(h\top),\qquad F(h)=\frac{R(h\top)}{P_F(\top\mid h)}. \]

这使局部状态流能通过奖励与终止概率表示，再代入 DB 或 SubTB 条件，而不一定要另训练一个独立流网络。代价也很直接：如果模型几乎从未学会正确终止，分母估计就不可靠；如果在不该结束时常输出 [DONE]，局部流也会被误导。奖励为零或终止概率极小时，log 损失还需要明确的数值和奖励处理。

所以正确终止示范的 SFT 初始化不只是帮助语言格式，它在训练机制里提供一个关键概率估计的起点。原表中 SubTB/DB 无初始化时表现大幅下降，应沿这条因果链解读；但初始化同时带来了成功行为信息，仍需要控制示范内容，才能单独确认是终止校准还是整体行为模仿带来收益。

TB、DB 与 SubTB 应该怎样选择？

TB 看整条轨迹，适合完整结果可靠、局部状态奖励难以定义的情况，但失败定位较粗。DB 检查一步流量进出，局部反馈直接，却依赖中间流量或终止价值估计。SubTB 在多个长度的片段上检查一致性，折中局部估计误差与长程信号方差。它们的差别不是“越局部越高级”，而是可信信号在哪里、额外估计有多难。

在完整历史形成的树上，后向关系容易；到了真实环境，如果同一可见画面对应不同隐藏状态，历史是否足以区分就成了新假设。有限上下文窗口会截断历史，错误的文本状态描述也会破坏该假设。理论里的状态充分性不能仅凭 prompt 写了“History”就认定成立。

奖励和外部轨迹如何改变学习目标？

GFlowNet 需要非负奖励，计算 log 时通常还要严格正值。NumberLine 使用 \(R=100/(|c-y|+1)\)，Blackjack 把环境奖励平移缩放并设置正值下界。奖励塑形改变目标偏好；作者因而提供使用相同奖励的 RL4VLM 对照。

离线数据也不是固定存储的普通随机 rollout。NumberLine 在策略失败时补充正确路径，Blackjack 使用“17 点及以上 stand，否则 hit”的规则策略。因此其收益同时包含额外行为知识，不能单独解释成“off-policy 优于 on-policy”。

NumberLine 与 Blackjack 完整对照

共同基座为 LLaVA-v1.6-Mistral-7B。NL 训练范围 0–5，OOD 范围 10–50；下表列出原主表全部方法及消融的成功率（%）。M 表示只用当前状态，NM 表示加入历史；原文称四个独立种子运行，但此主表未逐格给标准差，因此不自行添加显著性判断。

方法 / 条件	NL	NL-OOD	BJ
SFT 无 DONE	24.8	0.0	23.1
SFT 有 DONE	24.0	0.0	20.2
RL4VLM M / 原奖励	89.4	3.1	40.2
RL4VLM NM / 原奖励	90.3	4.4	41.0
RL4VLM M / 改写奖励	34.8	1.9	23.5
Var-TB on-policy	100.0	6.2	41.4
SubTB on-policy	100.0	7.0	41.7
DB on-policy	100.0	9.1	42.2
Var-TB off-policy	100.0	17.3	43.0
SubTB off-policy	100.0	16.7	42.4
DB off-policy	100.0	18.6	43.8
SubTB on / 无 SFT 初始化	23.0	0.0	8.4
DB on / 无 SFT 初始化	24.3	0.0	6.8
SubTB off / 无 SFT 初始化	34.4	0.0	17.4
DB off / 无 SFT 初始化	33.1	0.0	13.8

NL 的 100% 是小范围、受动作约束的任务成功率，不是视觉算术已经解决。扩展范围的 OOD 仍很低；同时动作每次只改变数值 1、步数有限，测试题目可达性和距离分布也应检查。Blackjack 的随机发牌意味着合理策略也不可能保证每局都赢，成功率应结合环境最优或规则策略上限解读。

ALFWorld：收益有范围

以下保留 ALFWorld 全部方法的总体、未见场景与多样性指标。SubTB 和 RL4VLM 使用 SFT 初始化；Var-TB 在此任务不依赖相同初始化，因此不是所有训练条件完全一致。

方法	平均成功率（%）	OOD（%）	Div@16
SFT 无 DONE	17.1	3.3	1.06
SFT 有 DONE	15.9	3.0	1.02
RL4VLM M	21.7	4.8	1.12
RL4VLM NM	22.1	6.1	1.11
GFlowVLM SubTB	26.1	12.3	1.40
GFlowVLM Var-TB	25.7	10.9	1.41

Div@16 只在已成功题上统计不同成功路径的数量，不等于全体题目的覆盖率。SubTB 相对含历史 PPO 对照提高 4.0 个百分点，OOD 提高 6.2 个百分点；不要把相对提升与百分点混写。某些细分任务 SFT 更高，整体平均也不意味着全部子任务领先。

延伸：视觉错误和策略错误要分开归因

下面是延伸分析。若模型把数轴目标读错，再好的路径分布也只会高效到达错误位置；若读对目标却反复行动失败，才更像规划、动作和探索的问题。只看端到端成功率，会把这两类失败混在一起，使平衡目标的实际贡献难以判断。

一个有辨别力的测试是以同一策略分别接收真实图像、带噪图像和可靠的符号状态，记录感知准确率、合法动作率、达到目标后的终止率与最终成功率。若符号状态几乎消除了失败，瓶颈主要在感知；若符号输入下仍差，则应进一步检查历史记忆和轨迹学习。它不是把任务简化后的分数当成部署能力，而是用干预定位机制。

历史也存在成本—收益权衡。长历史可防止重复动作，却增加上下文负担，并可能积累先前错误描述。可以比较全历史、可靠摘要与无历史，控制可执行动作集合和奖励，测量随任务长度增长的表现。没有这类控制，就不能把提升全部归于“non-Markovian 推理”。

最后，规则策略和离线成功轨迹把额外行为知识带入训练。要声称某种分布匹配目标更有效，PPO 对照也应得到相同数据与初始化；要声称系统整体有效，则可以比较不同完整流程，但必须报告不同的信息预算。这两种论证都可以成立，只是不能互相冒充。

最能减少不确定性的实验

使用同一奖励、历史、可执行动作集合、SFT 初始化和总环境步数，让 PPO 与各平衡目标获得同样的外部轨迹；再分别提供真实图像、正确符号状态和扰动图像。这样既能分离数据与损失贡献，也能判断收益究竟针对感知、记忆还是规划。除训练环境步数外，还应记录 CoT 长度、GPU 时间和人工示范成本。

结论

GFlowVLM 展示的是一套多模态轨迹学习系统，不能简化成 TB loss 单独改善视觉理解。与 E2S 的共同点是重视正确轨迹分布；差别在于交互环境、终止建模与外部动作约束改变了采样和验证问题。

参考资料

GFlowVLM：主文方法、GymCards 与 ALFWorld 表格，以及 supp.tex 的终止建模、离线轨迹和训练细节。

Contact