在线性高斯系统中，给定测量后的条件均值（MMSE）是测量的线性函数（由条件高斯公式保证）。而 LMMSE 是所有线性估计器中 MSE 最小的。既然 MMSE 本身也是线性的，它必然就是那个最优的线性估计器。
用概率法重新推导 KF —— 条件高斯分布、控制输入的融入、MMSE = LMMSE 等价性证明与分离原理
理解条件高斯定理与MMSE=LMMSE的等价关系
建议先完成前面的课程，或具备线性代数与概率论基础。
🎯 本讲目标
从概率角度重新推导 KF：复习条件高斯定理，证明在线性高斯系统中 MMSE = LMMSE，并理解控制输入与分离原理。
🔑 核心思想
在线性高斯系统中，条件均值（MMSE）恰好是测量的线性函数——恰好等于 LMMSE。因此 KF 不仅是线性最优的，更是全局最优的。
前几节课我们用几何方法（投影定理）推导了 KF 的五个核心等式，得到了 LMMSE（线性最小均方误差估计）。但有一个关键问题尚未回答：
❓ 核心问题
在线性高斯系统中，LMMSE 是否等于 MMSE（最小均方误差估计，即条件均值 $E[x_{k} | y_{0}, \dots, y_{k}]$）？
回答这个问题至关重要：
本讲将用概率方法（条件高斯分布）来回答这个问题。顺便，我们也会在系统模型中引入控制输入 $B u_{k}$。
现在我们将控制输入 $u_{k}$ 加入到系统模型中：
$w_{k} \sim N(0, Q)$，$x_{0} \sim N(\bar x_{0}, \Pi_{0})$
$v_{k} \sim N(0, R)$，与 $w_{k}$、$x_{0}$ 独立
定义信息集合：
MMSE 估计定义为条件均值：
💡 关于 $U_{k-1}$ 的说明
为什么是 $U_{k-1}$ 而不是 $U_{k}$？因为 $u_{k}$ 是在估计 $x_{k}$ 之后才施加的控制，它影响的是 $x_{k+1}$，而不是 $x_{k}$。所以估计 $x_{k}$ 时只能用过去的控制输入。
这是整个概率方法推导 KF 的核心定理：
定理：设 $X$ 和 $Y$ 联合高斯：
$$ \begin{bmatrix} X \\\\ Y \end{bmatrix} \sim N\left( \begin{bmatrix} \bar x \\\\ \bar y \end{bmatrix},\\; \begin{bmatrix} \Sigma_{x} & \Sigma_{xy} \\\\ \Sigma_{yx} & \Sigma_{y} \end{bmatrix} \right) $$则在给定 $Y = y$ 条件下，$X$ 仍然是高斯分布：
完全确定，不确定性降为零。
Y 不提供 X 的任何信息。
🎯 重要意义
注意条件均值 $\bar x + \Sigma_{xy} \Sigma_{y}^{-1} (y - \bar y)$ 是 $y$ 的线性函数。而 LMMSE 是在所有线性估计器中最小化 MSE 的解——它就是那个线性函数！所以在线性高斯系统中，MMSE = LMMSE。
给定 $\hat x_{k-1|k-1}$ 和 $P_{k-1|k-1}$，计算预测：
其中 $E[w_{k-1} \mid Y_{k-1}, U_{k-1}] = 0$ 因为 $w_{k-1}$ 与历史信息不相关（零均值高斯，且独立于所有历史信息）。
交叉项 $E[\tilde x_{k-1|k-1} w_{k-1}'] = 0$ 因为 $w_{k-1}$ 与历史信息独立。
📌 关键观察
控制输入 $B u_{k}$ 只影响预测均值，不影响预测协方差。这意味着控制与估计可以分离（Separation Principle）——设计控制器时可以暂时忽略估计误差。
给定 $\hat x_{k|k-1}$ 和 $P_{k|k-1}$，新的测量 $y_{k}$ 到来。我们需要找到 $E[x_{k} \mid Y_{k}, U_{k-1}]$。
在给定 $Y_{k-1}, U_{k-1}$ 的条件下，$x_{k}$ 和 $y_{k}$ 是联合高斯的：
与几何方法得到的表达式完全一致！
💡 概率法 vs 几何法
概率法自动得到了正确结果，不需要投影定理的几何直觉。它只需要知道"在高斯分布下，条件均值就是 MMSE"。
现在我们终于可以回答核心问题了：
✅ 结论
在线性高斯系统中，MMSE 估计等于 LMMSE 估计。
投影 → LMMSE
只利用了内积空间结构，不需要概率假设
优点：直观、可视化
局限：只得到 LMMSE
条件均值 → MMSE
利用了高斯分布的性质
优点：证明 MMSE = LMMSE
局限：需要高斯假设
🎯 所以结论是
在线性高斯情况下，$$\hat x_{k|k}^{\text{LMMSE}} = \hat x_{k|k}^{\text{MMSE}}$$两者完美重合。这在非高斯系统中一般不成立——非高斯条件下 MMSE 通常严格小于 LMMSE（因为 MMSE 在所有估计器中最优，而 LMMSE 只在线性估计器中最优）。这就是为什么 KF 在高斯假设下如此强大的原因。
从上面的推导中，我们还发现了一个重要的性质——分离原理（Separation Principle）：
🔄 分离原理
在线性高斯系统中，最优控制器的设计可以分为两个独立的任务：
两者结合即为最优：$u_{k} = -F \hat x_{k|k}$
为什么控制输入不影响协方差？因为在给定 $U_{k-1}$ 条件下，$B u_{k-1}$ 是确定性的确定量——它不引入随机性，不影响误差和协方差。
KF 处理不确定性，提供最优状态估计 $\hat x_{k|k}$
LQR 等控制器假定状态已知，设计最优反馈 $u_{k} = -F x_{k}$
结合时，将估计值代入控制器：$u_{k} = -F \hat x_{k|k}$。这就是 LQG 控制（Linear Quadratic Gaussian control）的核心结构。
为什么在线性高斯系统中 MMSE = LMMSE？
在线性高斯系统中，给定测量后的条件均值（MMSE）是测量的线性函数（由条件高斯公式保证）。而 LMMSE 是所有线性估计器中 MSE 最小的。既然 MMSE 本身也是线性的，它必然就是那个最优的线性估计器。
控制输入 $B u_{k}$ 对 KF 的协方差 $P_{k|k}$ 有影响吗？为什么？
没有影响。控制输入 $B u_{k}$ 在给定 $U_{k-1}$ 条件下是确定量，它只影响预测均值，不影响误差和协方差。这是 Separation Principle 的基础——控制律设计和估计器设计可以独立进行。
在非高斯系统中，MMSE 和 LMMSE 哪个更小？
施老师大课堂 · 研讨会系列 KF L17 · 条件高斯定理与 MMSE 估计