VLA：动作建模与通用机器人策略
VLA 的发展有两条线。 一条来自机器人领域本身：动作到底应该怎么表示、怎么生成？ 另一条来自大模型：已经非常成功的 Transformer / VLM，能不能直接变成一个通用机器人 policy？ 前一条路线从 Behavior Cloning、Action Chunking 一直走到 Diffusion Policy；后一条路线则从 RT-1、RT-2、OpenVLA 逐渐把 vision、language、action 都塞进统一的 token / autoregressive 范式。 到 $\pi_0$ 附近，这两条路线又重新汇合：保留 VLM 擅长的视觉语言表示，但不再要求连续机器人动作也必须按照语言 token 的方式输出，而是重新使用面向连续 action chunk 的生成式建模。 1. VLA 到底在解决什么问题？ 最简单的机器人 policy 可以写成： $$ (o_t,l)\rightarrow a_t $$其中： $o_t$：当前 observation，例如 RGB 图像、机器人关节状态； $l$：语言任务描述； $a_t$：当前机器人动作。 如果只看这个公式，VLA 好像只是： $$ \text{Vision} + \text{Language} \rightarrow \text{Action} $$但真正往下拆，会发现至少有两个问题混在一起。 第一个问题是： $$ \boxed{ \text{Action 到底应该是什么样的输出对象？} } $$是一个确定的连续向量？ 是一串未来动作？ 是一个概率分布？ 还是一串离散 token？ 第二个问题是： $$ \boxed{ \text{如何把大规模视觉语言模型已经学到的知识，变成机器人行为？} } $$前一个问题在 VLA 出现之前，机器人 imitation learning 领域已经讨论了很久。 ...