最小二乘的目标是极小化 $\|y - Hx\|^2$。对代价函数求导并令导数为 $0$ 即得 $H^T(y - H\hat x)=0$。几何上，这个方程表示残差 $r = y - H\hat x$ 与 $H$ 的每一列都正交，即残差正交于列空间 $R(H)$。
从抛硬币到正规方程——最大似然、最小二乘和 Kalman Filter 并不是三件孤立的事。
掌握最小二乘问题的数学形式与正规方程的推导
建议先完成前面的课程，或具备线性代数与概率论基础。
硬币正面概率为 $\theta$。第 $i$ 次投掷：
单次观测概率：
🔍 为什么这个式子成立？ 如果 $x_{i}=1$：$\theta^1(1-\theta)^0 = \theta$；如果 $x_{i}=0$：$\theta^0(1-\theta)^1 = 1-\theta$。一个式子覆盖两种情况。
假设 $X_{i}$ 独立同分布：
取 log：
求导：
令导数为 0：
化简得到：
💡 通俗解释： 估计硬币正面概率，最合理的答案就是历史上正面出现的比例。
如果真实正面概率是 $\theta$，则样本均值会随着 $n$ 增大收敛到 $\theta$：
📊 意义： ML 估计在这个例子里是合理的——样本越多，估计越准。
很多工程问题可以写成：
其中 $y$ 是观测，$H$ 是已知矩阵，$x$ 是未知量。
但现实中有噪声，所以常常没有任何 $x$ 能让方程完全成立。于是我们改问：
🎯 哪个 $x$ 让 $Hx$ 离 $y$ 最近？——这就是最小二乘。
方程 $y = Hx$ 有解当且仅当：
其中 $R(H)$ 是 $H$ 的列空间——$H$ 的所有列向量能线性组合出来的空间。
$H = \begin{bmatrix}1\\2\end{bmatrix}$，$y = \begin{bmatrix}2\\4\end{bmatrix}=2H$，有解。
$y = \begin{bmatrix}2\\5\end{bmatrix}$ 不在列空间直线上，没有精确解。
若没有精确解，定义：
残差：
最小二乘就是让残差长度最小。
定义代价函数：
展开：
对 $x$ 求导并令为 0：
得到 Normal Equation（正规方程）：
如果 $H$ 满列秩，则 $H^T H$ 可逆：
这就是最常见的最小二乘公式。
如果 $H$ 不满列秩，存在非零 $x_{c}$ 使得 $H x_{c} = 0$。
若 $\hat x$ 是一个最小二乘解，那么 $\hat x + x_{c}$ 也是解，因为：
⚠️ 重要： 不满秩时，解不唯一。需要额外的约束（如最小范数解）来选出特定的解。
$H\hat x$ 是 $y$ 在 $R(H)$ 上的投影。
其中 $P_{R(H)}$ 是到 $H$ 列空间上的正交投影算子。
想象三维空间中有一个平面（即 $R(H)$）。任意一个点 $y$ 到这个平面的"最近点"就是 $y$ 在平面上的垂直投影。垂直意味着残差与平面正交：
这正是正规方程 $H^T(y - H\hat x)=0$ 的几何含义——残差与列空间的每个列向量都正交。
将正规方程代入残差定义：
🔑 关键洞察： 最小二乘解 $\hat x$ 使得残差 $r = y - H\hat x$ 正交于列空间 $R(H)$。这正是"最小"二乘的本质——残差长度取极小值等价于残差与列空间正交。
$y$ 分为两部分：$H\hat x \in R(H)$（投影）和 $r \perp R(H)$（残差）。
勾股定理：$\|y\|^2 = \|H\hat x\|^2 + \|r\|^2$。
$H^T r = 0$ 表示残差与 $H$ 的每一列正交。这就是"正规"二字的来源——残差与列空间正交（normal）。
🧭 预览： 这个"最小二乘 = 投影"的几何视角，在后面 LMMSE 和 Kalman Filter 中会反复出现。每个滤波器本质上都在做"在某个空间中找投影"。
【概念理解】 请解释为什么最小二乘解 $\hat x$ 满足 $H^T(y - H\hat x)=0$。这个方程的几何意义是什么？
最小二乘的目标是极小化 $\|y - Hx\|^2$。对代价函数求导并令导数为 $0$ 即得 $H^T(y - H\hat x)=0$。几何上，这个方程表示残差 $r = y - H\hat x$ 与 $H$ 的每一列都正交，即残差正交于列空间 $R(H)$。
【数值计算】 给定 $H = \begin{bmatrix}1 & 2 \\ 1 & 1 \\ 1 & 0\end{bmatrix}$，$y = \begin{bmatrix}2 \\ 3 \\ 1\end{bmatrix}$。请计算：
① $H^T H$ 和 $H^T y$；
② 正规方程的解 $\hat x = (H^T H)^{-1} H^T y$；
③ 残差 $r = y - H\hat x$，验证 $H^T r = 0$。
① $H^T H = \begin{bmatrix}3 & 3 \\ 3 & 5\end{bmatrix}$，$H^T y = \begin{bmatrix}6 \\ 7\end{bmatrix}$。
② $(H^T H)^{-1} = \frac16 \begin{bmatrix}5 & -3 \\ -3 & 3\end{bmatrix}$，$\hat x = \begin{bmatrix}1.5 \\ 0.5\end{bmatrix}$。
③ $H\hat x = \begin{bmatrix}2.5 \\ 2.0 \\ 1.5\end{bmatrix}$，$r = \begin{bmatrix}-0.5 \\ 1.0 \\ -0.5\end{bmatrix}$，$H^T r = \begin{bmatrix}0 \\ 0\end{bmatrix}$ ✓。
【几何思考】 如果 $H$ 不满列秩，最小二乘解不唯一。从几何角度看，这些解对应的 $H\hat x$ 有什么共同点？
所有最小二乘解 $\hat x$ 对应的 $H\hat x$ 都是一样的——都是 $y$ 在 $R(H)$ 上的正交投影。因为 $Hx$ 只取决于 $x$ 在 $R(H^T)$ 中的分量；$x$ 的零空间分量不影响投影结果。几何上，$y$ 到列空间的投影是唯一的，但投影在参数空间中的表示可以有很多种。
【ML 联系】 在偏硬币问题中，ML 估计 $\hat\theta = \frac{1}{n}\sum x_i$。你能把它改写成最小二乘的形式吗？提示：令 $y = [x_1, \ldots, x_n]^T$，选择合适的 $H$。
取 $H = [1,1,\ldots,1]^T$（全 1 列向量），则 $y = H\theta$ 的最小二乘解为 $\hat\theta = (H^T H)^{-1} H^T y = \frac{1}{n}\sum x_i$。这正是样本均值。这说明在 i.i.d. 高斯噪声假设下，ML 估计与最小二乘估计等价。
施老师大课堂 · 研讨会系列 11 · KF L8 硬币ML、最小二乘与正规方程
字幕来源：subtitles/20260207_施凌_研讨会系列11_KF_L8_audio_a62b1f0dcb013892.srt