生成式模型驱动具身智能

1. 生成式模型 × 具身智能：背景

本次分享来自北京理工大学 许佳玉（李老师课题组博士生）。分享主题是：在具身智能领域，模仿学习的 VLA、VA 等模型中，生成式方法（如 DDPM、Flow Matching）是如何与动作生成相结合的，以及为什么这些生成式方法在动作生成上是有效的。

分享主要带大家推一些公式，并结合图示帮助理解。核心思路是将动作通过一个映射从隐变量（采样）中解决——即把动作生成建模为从概率分布中采样的问题。

2. Behavioral Cloning 的局限性

在机器人动作生成中，一个经典的基线方法是 Behavioral Cloning（BC）——让模型直接模仿人类示教数据中的动作。

然而 BC 有一个致命缺陷。假设机器人抓取一个物体，存在多个可行的路径——从左抓、从右抓、从上抓、从下抓。当把这些多样性轨迹一起放入数据中训练时，BC 只会学习到一个平均的动作。

因此需要找到一种方法：如果机器人当前想从左边抓，就能连续地从左边抓；想从右边抓，就能连续地从右边抓——而不是去学一个平均的动作。这就引出了生成式（generative）领域的方法。

3. DDPM（扩散模型）基本概念

DDPM（Denoising Diffusion Probabilistic Model）是扩散模型中最元老的算法。它的主要思想可以从图像生成的角度来理解：

正向过程（加噪）

有一个原始的动作分布 $X_0$（类比数据集中的真实图片）。先对这个 $X_0$ 做一系列加噪操作，称为正向过程。每一步都添加高斯噪声，一步一步地加，直到 $X_0$ 变成一个纯的高斯分布。前向过程可以通过概率论的方法推导出一个 close-form（闭式解）。

反向过程（去噪）

DDPM 定义了一种 MDP（马尔可夫决策过程）。基于 MDP 的假设，可以将反向过程也通过概率论的闭式形式推导出来（具体推导涉及变分下界等繁琐的概率论推导，分享中未展开）。

核心思想是：在生成动作时，从 $X_t$ 到 $X_0$，模型会先从一个纯概率分布中采样一个 $X_t$。这个采样过程赋予了整个 policy 概率意义——它不像 BC 那样是确定性的 policy，而是一个概率性的 policy。

4. Flow Matching 简介

Flow Matching 是另一种生成式方法。在模仿学习中，标准的数据分布就是动作。给定 flow 的时间 $t$、条件 $c$、以及流场 $x_c$，直接求解是很困难的，因为等式右边存在一个积分，而这个积分是无法直接得到的。

Flow Matching 的核心是通过条件概率路径的构建来解决这个问题。条件概率路径其实就是一条条直线，被构造成 $1-t$ 的形式。条件速度 $V$ 就等于 $1-x$。这部分与标准的 Flow Matching 过程是一致的。

5. MinFlow 与 IMF 改进

MinFlow

MinFlow 在标准 Flow Matching 的基础上做了改进。唯一的变化在于 target（目标）——包括 JVP（Jacobian-Vector Product）的计算和损失函数中的 $U_{\text{target}}$。具体地，$u \cdot du/dt = \text{JVP}$，通过 PyTorch 中的自动微分库可以方便地计算出 $DTU$，进而得到 $U_{\text{target}}$。

训练发散问题

当直接用 MinFlow 去修改一个 VLA 模型的 Action Head 时，训练曲线基本上是发散的。这一现象在多个论文中也有详细描述。

后续的工作（IMF，Improved Mean Flow）进一步做了拓展，尝试将方法应用到 VA（模仿学习中的 Value 或 Actor 模型）以及 VLA 模型中，大幅提高推理效率，同时还能保证模型的推理精度。

6. 实验结果：MSE Policy 延迟

在相关的论文文献中，MSE policy 已经可以达到 0.06~0.1 毫秒的推理延迟，大约是之前 policy 的 200 倍的提升。

📝 自测题