构造一个形式合理的线性递归估计器（预测 + 修正结构），将后验协方差 $P_{k+1}$ 写成增益 $K_{k+1}$ 的二次型，然后通过 Completion of Squares 找到使协方差最小化的最优增益。
从优化角度重新推导 Kalman 增益——将 $P_{k}$ 写成 $K_{k}$ 的二次型，通过 Completion of Squares 求最优解
掌握Kalman增益优化的三种方法：几何、概率与优化
建议先完成前面的课程，或具备线性代数与概率论基础。
🎯 本讲目标
学习第三种推导 KF 的方法——优化法：构造一个形式合理的线性估计器，将后验协方差写成 Kalman 增益的二次型，通过 Completion of Squares 求得最优增益。
🔑 核心思想
优化法不依赖几何直觉（正交投影）也不依赖概率假设（高斯分布），只需要"构造线性估计器 + 最小化均方误差"这一工程直觉。
我们已经学习了两种推导 KF 的方法：
优点：直观、可视化、不需要分布假设
局限：只得到 LMMSE，需要理解内积空间
优点：证明 MMSE = LMMSE
局限：需要高斯分布假设
优化法带来了独特的价值：
⚡ 优化法的独特价值
优化法在推广到非线性/非高斯系统时特别有价值——你可以改变估计器的结构来适应非线性（例如用神经网络替换线性映射），然后用同样的优化框架求解。
考虑如下递归线性估计器（不含测量噪声协方差先验信息）：
其中初始条件 $\hat x_{0} = 0$。这是一个"预测 + 修正"结构的线性估计器，但增益 $K_{k+1}$ 尚未确定。
我们的目标：找到 $K_{k+1}$ 使得后验误差协方差最小化。
这里的优化是一个矩阵优化问题——我们要找一个矩阵 $K$ 使得协方差矩阵（在矩阵半正定序下）最小。
预测阶段：$\hat x_{k+1|k} = A \hat x_{k}$
预测协方差：$P_{k+1|k} = A P_{k} A' + Q$
展开后得到：
这正是 $K$ 的二次型！其中 $K$ 是变量，$P_{k+1|k}$、$C$、$R$ 都是已知量。
💡 关键观察
$P_{k+1}(K)$ 是 $K$ 的二次型：线性项（$K$ 和 $K'$）和二次项（$K \cdot R_{e} \cdot K'$）。这与标量情况下对 $x$ 求 $ax^2 + bx + c$ 的最小值是类似的思路，只是这里是矩阵版本。
在标量情况下，配方法（completing the square）将 $ax^2 + bx + c$ 改写为 $a(x + b/(2a))^2 + (c - b^2/(4a))$。矩阵情况下做类似操作：
记 $S = C P_{k+1|k} C' + R = R_{e,k+1}$，有：
展开最后一项验证：
代入原式即验证了等式。
由于 $S \succ 0$（正定），二次项 $(K - \text{opt}) S (K - \text{opt})'$ 永远是半正定矩阵。要最小化 $P_{k+1}(K)$，只需让这一项为零：
代入后得到最小协方差：
🧠 理解 Completion of Squares
配方法的核心思路：把 $P(K)$ 写成 $\text{常数} + (K - K^*) S (K - K^*)'$。由于 $S \succ 0$，右边第二项≥0，所以当 $K = K^*$ 时 $P(K)$ 最小。这个常数就是最小可能的协方差。
优化法给出了一个不同于几何法和概率法的理解角度：
$K_{k}$ 是投影系数——将状态$x_{k}$投影到新息方向上。
$K_{k}$ 是回归系数——$\Sigma_{xy} \Sigma_{y}^{-1}$的自然产物。
$K_{k}$ 是优化变量——使协方差二次型最小的唯一解。
三种方法得到的 Kalman 增益表达式完全一致：
这验证了一个深刻的事实：
🌟 Kalman Filter 的普适性
无论你从哪个角度进入——几何、概率还是优化——KF 都是在线性高斯系统下你能做到的最好估计器。这种"殊途同归"的美，正是 KF 作为经典算法的魅力所在。
| 方法 | 核心工具 | 数学基础 | 优势 | 局限 |
|---|---|---|---|---|
| 📐 几何法 | 投影定理、正交原理 | 内积空间 | 直观、可视化 | 只得到 LMMSE |
| 📊 概率法 | 条件高斯公式 | 概率论 | 证明 MMSE = LMMSE | 需要高斯假设 |
| ⚡ 优化法 | Completion of Squares | 矩阵微积分 | 工程直觉强、可推广 | 需预设估计器结构 |
几何法仍可得到 LMMSE，但不再是 MMSE。优化法可以改变估计器结构来适应非线性和非高斯。
优化法的推广路径最自然：将线性估计器替换为非线性结构（如神经网络），仍然使用最小化 MSE 的框架。这就是 EKF、UKF、粒子滤波等方法的理论基础。
到此为止，我们用了三节课（L15-L17），从三个不同角度完成了 Kalman Filter 的完整推导：
接下来，我们将进入新的主题——动态规划（Dynamic Programming），它是 KF 在最优控制中的延伸，也是理解更广泛序贯决策问题的基础框架。
优化法推导 KF 的核心思路是什么？
构造一个形式合理的线性递归估计器（预测 + 修正结构），将后验协方差 $P_{k+1}$ 写成增益 $K_{k+1}$ 的二次型，然后通过 Completion of Squares 找到使协方差最小化的最优增益。
Completion of Squares 推导中，为什么最优增益是 $K^* = P C' S^{-1}$？
配方法将 $P(K)$ 写成 $\text{const} + (K - K^*) S (K - K^*)'$。由于 $S = C P C' + R \succ 0$，第二项总是半正定矩阵，只有在 $K = K^*$ 时为零，此时 $P(K)$ 达到最小。
三种推导 KF 的方法（几何法、概率法、优化法）的共同点和不同点是什么？
施老师大课堂 · 研讨会系列 KF L17 · Kalman 增益优化与三种方法对比