Paper Reading: VLA / VLM 2 - 潜动作、分层推理与高效策略

VLA and VLM architecture map

VLA 的困难并不只在模型容量，而在可用数据和控制数据之间存在巨大鸿沟：网络视频没有机器人动作，合成轨迹缺少真实接触，强推理模型又往往达不到控制频率。本篇以这三类矛盾为线索，判断八项工作分别把复杂度转移到了哪里。

UniVLA

UniVLA 从相邻画面的任务相关变化中学习潜动作，使公开视频可以在没有关节命令的情况下参与预训练。接入目标机器人时，再由本体专用解码器把共享潜变量翻译成真实控制量。

潜变量能够扩大数据来源，却没有自动满足动力学约束。复现实验应分别测潜动作对未来状态的解释力、解码动作误差和闭环成功率，并检查相同潜动作在不同本体上是否对应一致的任务语义。

GraspVLA 依靠大规模合成动作数据建立对象、语言目标和抓取动作之间的对应，再用真实数据完成策略校准。这条路线把稀缺的真机采集从“学习全部能力”转为“修正仿真偏差”。

我会按材质、深度噪声、遮挡、接触状态和执行器误差建立域差异矩阵，观察少量真实数据究竟修正了哪一类问题。只增加真实样本而不定位偏差，难以判断后续数据预算应投向哪里。

A0 将高层可供性判断与低层动作生成分开。前者确定当前阶段及操作区域，后者只在收缩后的空间中控制，从而避免一个端到端策略同时承担开放语义和高精度运动。

分层系统的风险集中在切换逻辑。高层置信度过高会把低层锁在错误区域，因此需要超时、观测不一致和执行失败三类退出条件，并单独统计各层造成的失败比例。

OneTwoVLA 为策略提供快慢两条路径：熟悉且确定的状态直接产生动作，歧义场景或长程决策才启用更完整的推理。它把计算量变成按需资源，而不是每一步固定支付。

路由错误比任一分支的平均精度更关键。我会构造“看似简单但需要推理”的反例，记录错误走快路径的比例、额外延迟及失败后能否切换到慢路径恢复。

Magma 用 set-of-mark 标出可交互实体，再以 trace-of-mark 表达随时间变化的运动，使 UI 操作、导航和机器人控制共享一套视觉指代接口。显式标记降低了语言描述空间位置的歧义。

这套接口依赖稳定的实体身份。遮挡、同类对象交叉和检测编号变化都会污染后续轨迹，因此系统需要跨帧身份置信度以及在不确定时重新确认目标的机制。

CoT-VLA 在动作之前生成带空间信息的视觉中间状态，让推理不仅存在于文字中，也保留对象位置与运动线索。中间结果因而可以被观察，但仍需证明它参与了动作决策。

验证方法是对中间视觉做遮蔽、交换和定向扰动，再测动作是否同步变化。若策略忽略这些改动，所谓思维链更接近展示层，而不是可用于调试的决策依据。

Interleave-VLA 允许图像证据与语言条件在执行序列中多次交替出现，因此操作者可以中途补充目标，策略也能在阶段边界读取新的场景状态，而不必把长任务压缩成单次输入。

执行越久，上下文越大，旧观测也越可能误导当前动作。工程实现需要关键帧选择、阶段摘要和历史淘汰规则，并验证压缩后是否仍保留失败恢复所需的信息。

SmolVLA 从低成本设备的约束出发，将紧凑视觉语言模型、异步推理和动作解码共同设计。目标不是单纯压缩参数，而是让感知推理与机器人控制在有限算力上持续并行。

评测应提供端到端 P50/P95 延迟、峰值显存、持续控制频率和观测到动作的新鲜度。参数量少不保证实时，异步队列过长同样会让动作建立在过期画面上。