这是最优性的一阶必要条件。如果误差与测量相关，说明还可以通过调整 K 来减小 MSE。正交条件 $E[(X-\hat X)Y^T]=0$ 等价于梯度为零。
正式推导 LMMSE —— 从正规方程到正交原理，直通 Kalman Filter 增益公式
理解线性最小均方估计(LMMSE)与正交原理
建议先完成前面的课程，或具备线性代数与概率论基础。
🎯 本讲目标
掌握线性估计器的形式、LMMSE 正规方程、正交原理、以及为什么 Kalman gain 具有 $R_{xy}R_{y}^{-1}$ 的形式。
🔑 核心公式
$K^* = R_{xy}R_{y}^{-1}$ 与 $X-\hat X \perp Y$ —— 这就是 Kalman Filter 测量更新背后的数学灵魂。
【课堂例题】 估计房间温度 $T$，有两个测量 $y_{1}, y_{2}$：
矩阵形式：
📌 注意
非线性估计器例如 $\hat T = \sin(y_{1}) + \sin(y_{2})$。LMMSE 只考虑线性形式，因为线性估计便于分析和计算。
估计误差：
误差协方差：
LMMSE 要找 $K^*$，使：
这里的 $\le$ 是半正定意义（矩阵比较）。
均方误差：
所以如果误差协方差矩阵更小（半正定意义），它的迹（trace）也更小，即 MSE 更小。
课堂暂时假设所有随机变量零均值。定义协方差矩阵：
💡 非零均值处理
如果变量非零均值，可以先中心化（减去均值），估计后再加回均值。这样做不影响协方差结构。
核心结论：
若 $R_{y}$ 可逆：
这就是 LMMSE 的核心公式，也是贯穿整个 Kalman Filter 理论的基础。
把误差协方差展开：
展开后会得到一个关于 $K$ 的二次型。像第 06 讲（二次型优化）一样配方，最小点满足：
这本质上是一个无约束二次优化问题，梯度为零给出正规方程。
从正规方程出发：
移项：
即：
这就是正交原理：最优估计的误差与观测不相关。
🧠 核心直觉
最优估计之后，误差不应该再和测量有线性相关。
如果误差还和 $Y$ 有关，说明 $Y$ 里还有信息没用完，可以继续改进估计。
所以：最优线性估计的剩余误差，是所有线性测量信息都解释不了的部分。
设 $x, y$ 是零均值标量：
线性估计 $\hat x = k y$，则：
所以：
如果 y 有 4 个单位的"功率"，x 和 y 共享 2 个单位的相关性，最优增益就是 0.5。
若 $R_{y}$ 可逆：
📖 解释
原始不确定性 $R_{x}$ 减去测量解释掉的部分 $R_{xy}R_{y}^{-1}R_{yx}$。测量越有用，这部分越大，最终误差越小。
Kalman Filter 的增益有形式：
这其实就是 $R_{xy}R_{y}^{-1}$ 在特定模型下的结果：
为什么 LMMSE 的误差与测量正交？
这是最优性的一阶必要条件。如果误差与测量相关，说明还可以通过调整 K 来减小 MSE。正交条件 $E[(X-\hat X)Y^T]=0$ 等价于梯度为零。
$R_{y}$ 不可逆时会发生什么？
如果 $R_{y}$ 不可逆，说明测量之间线性相关（有冗余），或者某个测量方向方差为零。此时 $R_{y}^{-1}$ 不存在，但正规方程 $K R_{y} = R_{xy}$ 仍然有解（多解），可以用伪逆处理。
如果测量噪声很大，直觉上 Kalman gain $K$ 应该大还是小？
施老师大课堂 · 研讨会系列 KF L11 · LMMSE 与正交原理