研讨会系列 · KF L12

LMMSE 例子、Gram-Schmidt 与三类估计问题

巩固 LMMSE 应用，理解 Gram-Schmidt 正交化思想，区分 Smoothing / Filtering / Prediction

📅 2026-04-18 📐 LMMSE 应用 🎯 Gram-Schmidt

🎯 学完本节，你应能

掌握LMMSE的典型例子、Gram-Schmidt正交化与三类估计问题

📖 前置知识

建议先完成前面的课程，或具备线性代数与概率论基础。

📖 目录

1. 正交原理的推论

若 $\hat X$ 是基于 $y_{1},\ldots,y_{N}$ 的 LMMSE 估计，则：

$$ X - \hat X \perp y_{i},\quad i=1,\ldots,N $$

也就是说，误差和每一个可用测量都不相关。这为我们提供了列方程求解增益的基本工具。

2. 【课堂例题】线性测量模型

模型：

$$ y = Hx + v $$

假设 $E[xv^T] = 0$，已知：

$R_{x}$

$$ R_{x} = E[xx^T] $$

$R_{v}$

$$ R_{v} = E[vv^T] $$

求 $x$ 给定 $y$ 的 LMMSE 估计。

3. 解题步骤

LMMSE 形式：$\hat x = K^* y$，公式 $K^* = R_{xy}R_{y}^{-1}$。

步骤 1：计算 $R_{xy}$

$$ R_{xy} = E[xy^T] = E[x(Hx+v)^T] = E[xx^T]H^T + E[xv^T] $$

由于 $x$ 与 $v$ 不相关：

$$ R_{xy} = R_{x} H^T $$

步骤 2：计算 $R_{y}$

$$ R_{y} = E[yy^T] = E[(Hx+v)(Hx+v)^T] = H R_{x} H^T + R_{v} $$

步骤 3：代入

$$ \hat x = R_{x} H^T (H R_{x} H^T + R_{v})^{-1} y $$

这就是线性测量模型下 LMMSE 的一般公式。

4. 两个极端情况

✅ 测量完美

若 $H=I,\; v=0$，则 $y=x$：

$$ \hat x = y $$

完全相信测量。

❌ 测量全是噪声

若 $y$ 和 $x$ 无关：

$$ \hat x = 0 $$

回到先验均值。

💡 直觉

测量可靠就相信测量；测量完全没信息就别被测量影响。Kalman Filter 的增益就自动在这两个极端之间平滑调节。

5. 【课堂例题】随机过程积分估计

设 $\{y(t)\}$ 是零均值平稳随机过程，自协方差：

$$ R_{y}(\tau) = E[y(t)\,y(t-\tau)] $$

目标：估计 $X = \int_{0}^T y(t)dt$，给定测量 $y(0), y(T)$。

线性估计：

$$ \hat X = k_{1} y(0) + k_{2} y(T) $$

根据正交原理，误差与每个测量正交：

$$ X - \hat X \perp y(0), \qquad X - \hat X \perp y(T) $$

6. 列方程

第一个正交条件：

$$ \left\langle \int_{0}^T y(t)dt - k_{1} y(0) - k_{2} y(T),\; y(0) \right\rangle = 0 $$

得到：

$$ k_{1} R_{y}(0) + k_{2} R_{y}(T) = \int_{0}^T R_{y}(t) dt $$

第二个正交条件：

$$ k_{1} R_{y}(T) + k_{2} R_{y}(0) = \int_{0}^T R_{y}(T-t) dt $$

矩阵形式：

$$ \begin{bmatrix} k_{1} \\ k_{2} \end{bmatrix} = \begin{bmatrix} R_{y}(0) & R_{y}(T) \\ R_{y}(T) & R_{y}(0) \end{bmatrix}^{-1} \begin{bmatrix} \int_{0}^T R_{y}(t) dt \\[4pt] \int_0^T R_y(T-t) dt \end{bmatrix} $$

这正是用正交原理列方程求解增益的典型过程。

7. Gram-Schmidt 正交化

给定一组向量 $v_{1},\ldots,v_{n}$，目标是构造一组正交向量 $u_{1},\ldots,u_{n}$。

🧠 核心思想

新向量减去它在旧方向上的投影，剩下的就是新的正交方向。

8. 投影公式

向量 $v$ 在 $u$ 上的投影：

$$ \operatorname{Proj}_u(v) = \frac{\langle v,u \rangle}{\langle u,u \rangle} u $$

Gram-Schmidt 过程：

$$ \begin{aligned} u_1 &= v_1 \\ u_2 &= v_2 - \operatorname{Proj}_{u_1}(v_2) \\ u_3 &= v_3 - \operatorname{Proj}_{u_1}(v_3) - \operatorname{Proj}_{u_2}(v_3) \end{aligned} $$

归一化：$e_{i} = \frac{u_i}{\|u_{i}\|}$。

9. 【补充例题】二维 Gram-Schmidt

设：

$$ v_1 = \begin{bmatrix}1 \\ 0\end{bmatrix},\quad v_2 = \begin{bmatrix}1 \\ 1\end{bmatrix} $$

则：

$$ u_1 = v_1 = \begin{bmatrix}1 \\ 0\end{bmatrix} $$

投影：

$$ \operatorname{Proj}_{u_1}(v_2) = \frac{v_2^T u_1}{u_1^T u_1} u_1 = 1 \cdot \begin{bmatrix}1 \\ 0\end{bmatrix} $$

所以：

$$ u_2 = \begin{bmatrix}1 \\ 1\end{bmatrix} - \begin{bmatrix}1 \\ 0\end{bmatrix} = \begin{bmatrix}0 \\ 1\end{bmatrix} $$

得到正交方向 $(1,0)$ 和 $(0,1)$。

10. 三类估计问题

考虑不可观测状态 $x_{1},x_{2},\ldots$ 和观测 $y_{1},y_{2},\ldots$：

🔙 Smoothing

用未来和过去的测量估计过去状态：

$$ \{y_1,\ldots,y_N\} \to x_t,\quad t < N $$

平滑/后处理

🔄 Filtering

用当前及过去测量估计当前状态：

$$ \{y_1,\ldots,y_t\} \to x_t $$

实时估计

🔮 Prediction

用当前及过去测量预测未来状态：

$$ \{y_1,\ldots,y_j\} \to x_t,\quad t > j $$

预测未来

📝 自测题

问题 1

在 $y=Hx+v$ 模型中，LMMSE 估计是 $\hat x = R_x H^T (H R_x H^T + R_v)^{-1} y$。如果噪声 $v$ 的协方差 $R_v \to 0$，估计会变成什么？

点击查看答案

当 $R_v \to 0$ 时，测量变得完美，公式趋近于 $\hat x = H^{-1}y$（假设 $H$ 可逆）。误差协方差趋向于 0，说明估计完全依赖测量。

问题 2

Gram-Schmidt 正交化中，$u_2 = v_2 - \operatorname{Proj}_{u_1}(v_2)$。为什么减去投影后 $u_2$ 与 $u_1$ 正交？

点击查看答案

因为 $\operatorname{Proj}_{u_1}(v_2)$ 是 $v_2$ 在 $u_1$ 上的全部线性成分，减去后剩下的 $u_2$ 与 $u_1$ 正交：$\langle u_2, u_1 \rangle = \langle v_2, u_1 \rangle - \frac{\langle v_2, u_1 \rangle}{\langle u_1, u_1 \rangle} \langle u_1, u_1 \rangle = 0$。这就是"新方向 = 原方向 − 旧方向上的投影"的思想。

问题 3

Smoothing、Filtering、Prediction 三类估计的本质区别是什么？

🏠 返回课程馆

施老师大课堂 · 研讨会系列 · KF L12 LMMSE 例子、Gram-Schmidt 与三类估计问题