正交条件 $\langle y-\hat y_{L}, a\rangle = 0$ 对任意 $a\in L$ 成立，意味着误差向量与整个子空间 $L$ 正交。这是"最近点"的几何特征：连接点到子空间的垂线垂直于子空间。
最小二乘到随机估计的桥梁 —— 从内积空间投影到 MMSE 与 LMMSE
掌握投影定理及其在随机最小二乘中的应用
建议先完成前面的课程，或具备线性代数与概率论基础。
🎯 本讲目标
本讲是最小二乘到随机估计的桥梁。掌握投影定理的内容、投影误差与子空间的正交性、MMSE 等于条件期望、以及为什么用 LMMSE 代替 MMSE。
🔑 核心洞见
估计就是投影。MMSE 是把 $X$ 投影到由 $Y$ 决定的所有函数空间；LMMSE 是投影到 $Y$ 的线性组合空间。
设 $L$ 是内积空间 $V$ 的线性子空间。对任意 $y\in V$，存在唯一 $\hat y_{L}\in L$，使：
也就是：
这就是投影定理的核心内容。
💡 直观理解
你把一个点投影到一张平面上，最近点只有一个，而且连接线垂直于平面 —— 这就是投影定理的几何直觉。
投影定理说了三件事：
投影点一定存在。
投影点只有一个。
误差与子空间正交。
取 $L$ 的正交基 $v_{1},\ldots,v_{m}$，扩展成 $V$ 的正交基 $v_{1},\ldots,v_{m},v_{m+1},\ldots,v_{N}$。
任意 $y$ 可写成：
定义投影：
也就是只保留属于 $L$ 的分量。这天然保证了 $\hat y_{L} \in L$。
误差：
任意 $a\in L$，$a=\sum_{j=1}^m\beta_{j}v_{j}$。由于正交基之间内积为 0：
这就证明了误差与子空间正交。
假设有两个投影 $\hat y_{1},\hat y_{2}$，二者都在 $L$ 中，所以：
利用正交条件可证明：
因此投影点唯一确定。
现在考虑随机变量 $X,Y$。我们想根据 $Y$ 估计 $X$：
估计误差和目标：
固定观测 $Y=y$，要最小化：
展开并配方，可得最优：
因此：
💡 通俗解释
给定 $Y=y$ 后，$X$ 仍可能有很多可能值。若用平方误差衡量错得多严重，最佳代表点就是条件均值。
这好比一群人里头，用"平均身高"代表大家，平方误差最小。
已知在 $Y=y$ 条件下：
则：
📌 理解
虽然 $X$ 实际只可能是 0 或 4，但 MMSE 估计是 3。平均意义下，这是最"不偏不倚"的选择。
MMSE 需要计算：
实际困难：
$f(x\mid y)$ 通常不知道。
高维情况下难以计算。
实时系统计算不起。
情况更复杂。
一般估计器：
线性估计器：
LMMSE 只在线性估计器中找最优。
所有函数里最优
但计算困难
所有线性函数里最优
计算简便
MMSE = LMMSE
最佳情形
Kalman Filter 在线性高斯系统中，正好处在"MMSE 和 LMMSE 重合"的幸运情形。它既有概率解释，也有几何投影解释。
🌉 承上启下
Kalman Filter 将利用 LMMSE 构造高效递推。投影定理的几何直觉贯穿整个 KF 理论体系。
投影定理的正交条件是什么意思？
正交条件 $\langle y-\hat y_{L}, a\rangle = 0$ 对任意 $a\in L$ 成立，意味着误差向量与整个子空间 $L$ 正交。这是"最近点"的几何特征：连接点到子空间的垂线垂直于子空间。
为什么平方误差下最佳估计是条件均值？
最小化 $E[(X-\hat x)^2 \mid Y=y]$，展开后对 $\hat x$ 求导，令导数为零可得 $\hat x = E[X \mid Y=y]$。条件均值在平方误差意义下是最优代表点。
LMMSE 为什么比 MMSE 更容易计算？
LMMSE 只需要一阶矩和二阶矩（均值、协方差），不需要完整的条件分布。它避免了高维积分，只需要解一个线性方程 $K R_{y} = R_{xy}$，计算量远小于 MMSE。
施老师大课堂 · 研讨会系列 KF L10 · 投影定理与随机最小二乘