研讨会系列 5 · Kalman Filter L2(上)

矩阵求逆引理(MIL)

一个大矩阵求逆 = 一个小矩阵求逆 + 几步矩阵乘法——MIL 是 Kalman Gain 计算效率的关键一手。

📅 2025-11-29 ⏱ ~40 分钟 📊 中高级 🎯 KF 数学工具

🎯 学完本节,你应能

  • 写出矩阵求逆引理的标准形式
  • 理解每一步推导的代数变换
  • 用几何直觉解释"大求逆变小小求逆"
  • 预判它在 Kalman Filter 中的角色

📖 前置知识

  • 矩阵乘法与逆矩阵基本操作
  • KF L1 特征值与 SVD(0004)
  • 熟悉 $(I+P)^{-1}$ 的展开式

💡 本讲是 0005 第 1 节,下一节讲状态空间与协方差。

1. 为什么要学矩阵求逆引理

❓ 问题:在 Kalman Filter 中,我们要实时更新 $P_{k|k-1}$(先验协方差),然后计算 Kalman Gain:

$$ K = P_{k|k-1} H^T (H P_{k|k-1} H^T + R)^{-1} $$

这个逆矩阵的维度等于测量维度 $m$。如果 $m$ 很大(比如 GPS 有几十个卫星信号),直接求逆计算量极大。

MIL 的核心思想:把 $m \times m$ 矩阵求逆转化为对 $n \times n$ 矩阵求逆($n$ 是状态维度),当 $m \gg n$ 时大幅节省计算。

💡 一句话:MIL = "把大求逆分解成小求逆 + 矩阵乘法"。

2. MIL 标准形式

对于任意兼容维度的矩阵 $A,B,C,D$($A$ 和 $C$ 可逆),且 $A + BCD$ 可逆:

$$ (A + B C D)^{-1} = A^{-1} - A^{-1} B (C^{-1} + D A^{-1} B)^{-1} D A^{-1} $$

📐 命名

又称 Woodbury identity 或 Sherman-Morrison-Woodbury 公式。

🔑 关键

左边是 $n \times n$ 求逆,右边转为 $m \times m$ 求逆($B$ 的列数)。

3. 两个预备恒等式

推导前先建立两个标量类比推广到矩阵的恒等式:

恒等式 1:$(I+P)^{-1}$ 展开

$$ (I+P)^{-1} = I - (I+P)^{-1} P \qquad \text{[e1]} $$

验证:$(I+P)^{-1}(I+P-P) = I - (I+P)^{-1}P$,✓

恒等式 2:$P + PQP = P(I+QP) = (I+PQ)P$

$$ P(I+QP) = (I+PQ)P \qquad \text{[e2]} $$

恒等式 3:$P(I+QP)^{-1} = (I+PQ)^{-1}P$

$$ P(I+QP)^{-1} = (I+PQ)^{-1} P \qquad \text{[e3]} $$

这个等式由 e2 两边同时右乘 $(I+QP)^{-1}$ 或左乘 $(I+PQ)^{-1}$ 得到。

💡 直觉:这三个恒等式都是在说"$P$ 和 $(I+\dots)^{-1}$ 可以交换位置"。核心在于 $P$ 左乘 $(I+QP)^{-1}$ 等价于右乘 $(I+PQ)^{-1}$。

4. 完整推导

三层公式阅读法:

🔹 第一层:符号

目标是展开 $(A + BCD)^{-1}$。将它改写为 $A(I + A^{-1}BCD)$,利用 $(XY)^{-1} = Y^{-1}X^{-1}$:

$$ (A + BCD)^{-1} = (I + A^{-1}BCD)^{-1} A^{-1} $$

🔹 第二层:推导

Step 1:令 $P = A^{-1}BCD$,应用 e1:

$$ (I + P)^{-1} A^{-1} = [I - (I+P)^{-1} P] A^{-1} $$ $$ = A^{-1} - (I + A^{-1}BCD)^{-1} A^{-1}BCD A^{-1} $$

Step 2:在中间插入 $A^{-1}A = I$,整理:

$$ = A^{-1} - (I + A^{-1}BCD)^{-1} A^{-1} B C D A^{-1} $$ $$ = A^{-1} - A^{-1} (I + B C D A^{-1})^{-1} B C D A^{-1} \quad\text{(利用 e3)} $$

Step 3:提取因子 $C$:

$$ = A^{-1} - A^{-1} B (I + C D A^{-1} B)^{-1} C D A^{-1} $$ $$ = A^{-1} - A^{-1} B (C^{-1} + D A^{-1} B)^{-1} D A^{-1} \quad \blacksquare $$

🔹 第三层:直觉

MIL 本质上在说:如果你已经知道 $A^{-1}$,那么给 $A$ 加一个低秩修正 $BCD$ 后,新逆矩阵可以通过对 $C^{-1} + D A^{-1} B$(一个小得多的矩阵)求逆来更新。KF 中每次测量更新就是一次低秩修正。

5. 几何直觉

把 MIL 看成秩更新:

🌰 类比:你已经知道整栋楼的蓝图($A^{-1}$),现在只改了一个房间的布局($BCD$)。你不需要重新画整栋楼——只需更新这一个房间的影响。MIL 就是矩阵世界里的"局部更新公式"。

6. 常用特例

Sherman-Morrison 公式($B$ 和 $D$ 是向量)

$$ (A + uv^T)^{-1} = A^{-1} - \frac{A^{-1} u v^T A^{-1}}{1 + v^T A^{-1} u} $$

向量情况($B=u$, $C=1$, $D=v^T$),分母退化成一个标量 $1 + v^T A^{-1} u$,连矩阵求逆都不需要了!

KF 中最常见的形式

$$ (H P H^T + R)^{-1} = R^{-1} - R^{-1} H (P^{-1} + H^T R^{-1} H)^{-1} H^T R^{-1} $$

其中 $A = R$(测量噪声协方差),$B = H$,$C = P$,$D = H^T$。

7. 在 KF 中的用途预告

在 KF 中,后验协方差更新有两种等价形式:

📐 标准形式

$$ P_{k|k} = (I - K H) P_{k|k-1} $$

需要先算 $K$,$K$ 里有个 $m \times m$ 求逆

🔄 信息形式

$$ P_{k|k}^{-1} = P_{k|k-1}^{-1} + H^T R^{-1} H $$

利用 MIL 从协方差形式推出!当 $m > n$ 时更高效

信息形式在传感器融合(KF L16 固定增益)中极为重要——多传感器时,只需叠加 $H_{i}^T R_{i}^{-1} H_{i}$ 项,即插即用。

📝 课后练习

  1. 【标量验证】设 $a=2$, $b=1$, $c=3$, $d=1$。用标量版本的 MIL $(a + bcd)^{-1} = a^{-1} - a^{-1} b (c^{-1} + d a^{-1} b)^{-1} d a^{-1}$ 验证左右相等。

    查看计算

    左边: $(2 + 1\cdot3\cdot1)^{-1} = 5^{-1} = 0.2$

    右边: $0.5 - 0.5\cdot1\cdot(1/3 + 1\cdot0.5\cdot1)^{-1}\cdot1\cdot0.5$

    $= 0.5 - 0.5 \cdot (1/3 + 0.5)^{-1} \cdot 0.5 = 0.5 - 0.5 \cdot (5/6)^{-1} \cdot 0.5$

    $= 0.5 - 0.5 \cdot 1.2 \cdot 0.5 = 0.5 - 0.3 = 0.2$ ✓

  2. 【矩阵验证】设 $A = \begin{bmatrix}2 & 0 \\ 0 & 3\end{bmatrix}$, $B = \begin{bmatrix}1 \\ 1\end{bmatrix}$, $C = 2$, $D = \begin{bmatrix}1 & 1\end{bmatrix}$。用 MIL 计算 $(A+BCD)^{-1}$,并与直接求逆对比。

    查看提示

    $A+BCD = \begin{bmatrix}2 & 0 \\ 0 & 3\end{bmatrix} + \begin{bmatrix}1 \\ 1\end{bmatrix} \cdot 2 \cdot \begin{bmatrix}1 & 1\end{bmatrix} = \begin{bmatrix}2 & 0 \\ 0 & 3\end{bmatrix} + \begin{bmatrix}2 & 2 \\ 2 & 2\end{bmatrix} = \begin{bmatrix}4 & 2 \\ 2 & 5\end{bmatrix}$

    直接求逆: $\begin{bmatrix}4 & 2 \\ 2 & 5\end{bmatrix}^{-1} = \frac{1}{16}\begin{bmatrix}5 & -2 \\ -2 & 4\end{bmatrix} = \begin{bmatrix}0.3125 & -0.125 \\ -0.125 & 0.25\end{bmatrix}$

    用 MIL: $A^{-1} = \begin{bmatrix}0.5 & 0 \\ 0 & 0.333\end{bmatrix}$, $C^{-1}+D A^{-1} B = 0.5 + \begin{bmatrix}1&1\end{bmatrix}\begin{bmatrix}0.5&0\\0&0.333\end{bmatrix}\begin{bmatrix}1\\1\end{bmatrix} = 0.5 + 0.833 = 1.333$

    $A^{-1} - A^{-1}B(C^{-1}+DA^{-1}B)^{-1}DA^{-1}$ 最终结果应与直接求逆一致。

  3. 【推导】从标准 MIL $(A+BCD)^{-1}$ 推导 Sherman-Morrison 公式 $(A + uv^T)^{-1}$。

    查看提示

    令 $B = u$, $C = 1$, $D = v^T$。则 $C^{-1} + D A^{-1} B = 1 + v^T A^{-1} u$(标量)。

    代入即得: $A^{-1} - \frac{A^{-1} u v^T A^{-1}}{1 + v^T A^{-1} u}$。

  4. 【思考】在 KF 中,为什么 $m \gg n$ 时信息形式比标准形式更高效?计算复杂度分别是多少?

📌 小结

📝 公式

$(A+BCD)^{-1} = A^{-1} - A^{-1}B(C^{-1}+DA^{-1}B)^{-1}DA^{-1}$

💡 直觉

"低秩更新"——大求逆 → 小求逆。KF 中每步测量更新就是一次秩更新。

🔗 下节

KF L2(下):状态空间模型与协方差传播。把 MIL 放到系统建模场景中理解。

施老师大课堂 · 研讨会系列 5 · KF L2(上)矩阵求逆引理

字幕来源:subtitles/20251129_施凌_研讨会系列5_KF_L2_audio_00742037997074f5.srt