$e_{k} \perp \mathcal{L}_{k-1}$。因为 $e_{k}$ 定义为 $y_{k}$ 在 $\mathcal{L}_{k-1}$ 上投影的残差，根据正交原理，残差与投影空间正交。
从 Gram-Schmidt 正交化出发，严格定义新息、证明其正交性，并推导新息协方差的闭合表达式
理解新息的概念、正交性及其在KF中的作用
建议先完成前面的课程，或具备线性代数与概率论基础。
🎯 本讲目标
从 Gram-Schmidt 正交化的角度引入新息（Innovation）概念，严格证明新息与历史测量空间的正交性，并推导新息协方差 $R_{e,k}$ 的表达式。
🔑 核心思想
新息是测量中"真正的全新信息"。通过将新测量投影到历史信息空间并取残差，我们得到一个与所有历史信息正交的随机向量——这是递归估计的基石。
上节课（KF L14）我们搭建了 Kalman Filter 的基本舞台——系统模型、基本假设与符号体系。本讲开始正式进入测量更新（Measurement Update）的详细推导。
当新的测量 $y_{k}$ 到来时，我们需要把预测 $\hat x_{k|k-1}$ 更新为后验估计 $\hat x_{k|k}$。整个更新过程由以下五个等式描述：
本讲集中证明等式①和②——新息的定义与新息协方差。余下的③④⑤将在下一讲（后验协方差更新）中完成。
在开始证明之前，我们必须弄清楚各个随机变量所在的线性空间，以及它们之间的正交性关系。
回顾系统的状态方程 $x_{k+1} = A x_{k} + w_{k}$。将状态反复展开：
所以 $x_{k}$ 是初始状态 $x_{0}$ 和过程噪声 $w_{0}, \dots, w_{k-1}$ 的线性组合。
当前测量空间 $\mathcal{L}_k$ 由截至时刻 $k$ 的所有测量生成。
$\mathcal{L}_k \subset \text{span}\{x_{0}, w_{0}, \dots, w_{k-1}; v_{0}, \dots, v_{k}\}$
历史测量空间，比 $\mathcal{L}_k$ 少一个最新测量 $y_{k}$。
$\mathcal{L}_{k-1} \subset \text{span}\{x_{0}, w_{0}, \dots, w_{k-2}; v_{0}, \dots, v_{k-1}\}$
💡 核心观察
$v_{k}$ 与 $\mathcal{L}_{k-1}$ 正交！因为 $v_{k}$ 与所有 $x_{0}, w_{0}, \dots, w_{k-2}, v_{0}, \dots, v_{k-1}$ 都不相关（噪声假设），而 $\mathcal{L}_{k-1}$ 包含在这个大空间里。
这个简单的观察将反复出现在下面的证明中，是理解新息正交性的关键钥匙。
回忆线性代数中的 Gram-Schmidt 正交化流程：给定一组向量 $v_{1}, v_{2}, \dots$，我们可以生成一组相互正交的向量 $e_{1}, e_{2}, \dots$：
新息（Innovation）正是 Gram-Schmidt 在随机向量空间中的对应物。对于依次到达的测量 $y_{0}, y_{1}, \dots, y_{k}$：
$e_{k}$ 就是在当前测量中，去掉能被历史信息解释的部分后剩下的"纯新"部分。正因为如此，它被称为"新息"（Innovation）——真正的信息增量。
📌 核心性质
由 Gram-Schmidt 构造过程可知，新息 $e_{k}$ 与历史测量空间 $\mathcal{L}_{k-1}$ 正交，且不同时刻的新息彼此正交：
$$ \langle e_{k}, e_{j} \rangle = 0, \quad \forall j < k $$这正是递归估计能够实现的根本原因——新息提供了"不重复"的信息。
我们首先要证明：Gram-Schmidt 定义的投影残差恰好等于 $y_{k} - C \hat x_{k|k-1}$。
将 $y_{k} = C x_{k} + v_{k}$ 代入投影表达式：
这里用到了两个关键事实：
因此我们得到了简洁的表达式：
🧠 直观理解
新息 = 真实测量 - 预测测量。它回答了这个问题："新测量中到底是什么是我之前没想到的？"
如果预测很准（$\hat x_{k|k-1} \approx x_{k}$），新息就很小；如果测量与预测差异大，新息就大——可能意味着新的信息来了，或者出现了异常。
现在我们直接验证 $e_{k}$ 与 $\mathcal{L}_{k-1}$ 中的任意向量正交。
对任意 $i < k$，考虑内积 $\langle e_{k}, y_{i} \rangle$：
注意 $v_{k} \perp y_{i}$（因为 $y_{i} \in \mathcal{L}_{k-1}$），且 $\hat x_{k|k-1}$ 正是 $x_{k}$ 在 $\mathcal{L}_{k-1}$ 上的投影：
而 $\tilde x_{k|k-1} \perp \mathcal{L}_{k-1}$（根据正交原理，预测误差与历史测量空间正交），所以：
这就证明了新息正交于整个历史测量空间。
由于 $e_{i} \in \mathcal{L}_{k-1}$（对 $i < k$），由上述结论立即得到：
🎯 重大意义
新息的正交性意味着：随着时间的推移，我们得到的是一个正交的新息序列 $e_{0}, e_{1}, \dots, e_{k}$。这类似于 Gram-Schmidt 过程将原始测量序列 $y_{0}, y_{1}, \dots, y_{k}$ 正交化。每个新息带来的是不重复的、正交的全新信息。
新息协方差是新息 $e_{k}$ 与其自身的内积（即协方差矩阵），它度量了新息的不确定性：
由等式①：$e_{k} = y_{k} - C \hat x_{k|k-1}$。代入 $y_{k} = C x_{k} + v_{k}$：
其中 $\tilde x_{k|k-1} = x_{k} - \hat x_{k|k-1}$ 是预测误差。现在计算内积：
交叉项为零的原因：$\tilde x_{k|k-1} \in \mathcal{L}_{k-1}$（预测误差在历史测量空间内），而 $v_{k} \perp \mathcal{L}_{k-1}$。
预测不确定性通过观测矩阵映射到测量空间的部分。如果预测很准，这部分就小。
测量噪声本身的协方差。这是传感器固有的不确定性，与预测无关。
💡 直觉
新息协方差 = 预测不确定性在测量空间的体现 + 测量噪声。两部分之和决定了新息的大小：预测越不准、测量噪声越大，新息的变化范围就越宽。
我们已经完成了五个测量更新等式中前两个的证明。总结新息过程的关键结论：
测量中真正"新"的部分
新息与历史信息不相关
预测不确定性 + 测量噪声
这些结论是整个 Kalman Filter 测量更新的基础。下一讲我们将利用新息的正交性，推导状态更新的③④⑤等式——包括 Kalman 增益和后验协方差更新。
🔭 下讲预告
继续证明剩余的③④⑤：利用 $\langle x_{k}, e_{k} \rangle$ 推导 Kalman 增益 $K_{k}$，并完成后验协方差 $P_{k|k}$ 的更新公式。
新息 $e_{k}$ 与历史测量空间 $\mathcal{L}_{k-1}$ 的关系是什么？为什么？
$e_{k} \perp \mathcal{L}_{k-1}$。因为 $e_{k}$ 定义为 $y_{k}$ 在 $\mathcal{L}_{k-1}$ 上投影的残差，根据正交原理，残差与投影空间正交。
为什么 $\langle \tilde x_{k|k-1}, v_{k} \rangle = 0$？请解释。
$\tilde x_{k|k-1} \in \mathcal{L}_{k-1}$（预测误差在历史测量空间内），而 $v_{k} \perp \mathcal{L}_{k-1}$（$v_{k}$ 与所有历史信息不相关）。所以二者正交。
新息协方差 $R_{e,k}$ 由哪两部分组成？分别对应什么物理意义？
施老师大课堂 · 研讨会系列 KF L15 · 新息过程：定义、正交性与协方差