VLA：动作建模与通用机器人策略

Sat, 17 Oct 2026 00:00:00 +0000

VLA 的发展有两条线。

一条来自机器人领域本身：动作到底应该怎么表示、怎么生成？

另一条来自大模型：已经非常成功的 Transformer / VLM，能不能直接变成一个通用机器人 policy？

前一条路线从 Behavior Cloning、Action Chunking 一直走到 Diffusion Policy；后一条路线则从 RT-1、RT-2、OpenVLA 逐渐把 vision、language、action 都塞进统一的 token / autoregressive 范式。

到 $\pi_0$ 附近，这两条路线又重新汇合：保留 VLM 擅长的视觉语言表示，但不再要求连续机器人动作也必须按照语言 token 的方式输出，而是重新使用面向连续 action chunk 的生成式建模。

1. VLA 到底在解决什么问题？

最简单的机器人 policy 可以写成：

$$ (o_t,l)\rightarrow a_t $$

其中：

$o_t$：当前 observation，例如 RGB 图像、机器人关节状态；
$l$：语言任务描述；
$a_t$：当前机器人动作。

如果只看这个公式，VLA 好像只是：

$$ \text{Vision} + \text{Language} \rightarrow \text{Action} $$

但真正往下拆，会发现至少有两个问题混在一起。

第一个问题是：

$$ \boxed{ \text{Action 到底应该是什么样的输出对象？} } $$

是一个确定的连续向量？

是一串未来动作？

是一个概率分布？

还是一串离散 token？

第二个问题是：

$$ \boxed{ \text{如何把大规模视觉语言模型已经学到的知识，变成机器人行为？} } $$

前一个问题在 VLA 出现之前，机器人 imitation learning 领域已经讨论了很久。

Robotics on The Herta

VLA：动作建模与通用机器人策略

1. VLA 到底在解决什么问题？