分母确保后验 $p(\theta|x)$ 对 $\theta$ 的积分/求和等于 1。它不依赖于 $\theta$，只依赖于数据 $x$，因此只起归一化作用。
从"系统能不能被观测"到"观测到数据后如何修正信念"——Bayes Rule 是估计理论的灵魂。
💡 本讲是从"系统理论"到"估计理论"的桥梁课。建议先看 L1-L4 再进入。
估计问题的基本形式：
有一个未知量 $\theta$，我们想知道它，但只能通过测量 $X$ 间接推断。
| 场景 | 未知 $\theta$ | 测量 $X$ |
|---|---|---|
| 房间温度 | 真实温度 | 温度计读数 |
| 车辆定位 | 真实位置 | GPS 信号 |
| KF 中的状态 | $x_{k}$ | $y_{k}$ |
| 硬币正反 | 正面概率 $p$ | 投掷结果序列 |
| Juliet 迟到 | 最大迟到时间 $\theta$ | 实际迟到时间 $x$ |
💡 核心问题：给定有限的、带噪的测量，我们到底能多"确定"地推断 $\theta$？这个问题的答案，就是整个估计理论要回答的核心。
把 $\theta$ 视为随机变量，给它一个分布 $p(\theta)$。
目标：更新 $\theta$ 的分布（后验）。
"先相信，再看数据修正"
把 $\theta$ 视为固定未知常数。
目标：找一个最合理的数值。
"数据说话，不做先验假设"
| 视角 | $\theta$ 是什么 | 随机性来源 | 目标 |
|---|---|---|---|
| Bayesian | 随机变量 | $\theta$ 和 $X$ 都是随机的 | 求后验分布 $p(\theta|X)$ |
| Non-Bayesian | 固定未知常数 | 只有 $X$ 是随机的 | 求 $\theta$ 的点估计值 |
🔗 连接 KF：Kalman Filter 本质上是 Bayesian 的——每一步都在做"用先验（预测）× 似然（测量）→ 后验（估计）"的递归计算。
施老师在黑板上用房间温度的例子直观展示两种框架的差异。
设真实温度为 $\theta$，测量为：
$\theta$ 是固定常数：
$$ Y \sim \mathcal{N}(\theta, 1) $$
$\theta$ 的取值范围是 $[0, 30^\circ\text{C}]$
还要给 $\theta$ 一个先验分布：
$$ \theta \sim p(\theta) $$
例如：认为大概率在 20°C–30°C 之间
问题：Bayesian 框架下，$Y$ 的分布是什么？
答案：需要知道 $p(\theta)$ 才能确定 $Y$ 的边缘分布——这就是 Bayesian 与非 Bayesian 的分水岭。
贝叶斯估计的三大支柱：
观测数据之前，我们对 $\theta$ 的信念。
反映已有知识（或无知）
如果 $\theta$ 是真值，观测到 $x$ 的概率。
也叫"传感器模型"
观测到 $x$ 后，对 $\theta$ 的更新信念。
这就是我们要估计的
观测数据的边缘概率。
就是归一化常数
💡 核心关系：后验 $\propto$ 先验 $\times$ 似然。
$$ p(\theta|x) = \frac{p(\theta) \cdot p(x|\theta)}{p(x)} = \frac{\text{旧信念} \times \text{数据支持}}{\text{归一化}} $$
💡 三层阅读：
施老师用中奖号码为例，直观展示测量如何逐步缩小不确定性。
测量 1：有人告诉你第一位是 6。
候选号码从 $10^6$ 缩小到 $10^5$。
测量 2：第二位是 2。候选变为 $10^4$。
... 直到 6 位全知道：
不确定性几乎降到零。
💡 核心启发：测量的作用不是"制造真相"，而是缩小可能性空间。每次测量都在减少 $\theta$ 的不确定性（方差减小）。Kalman Filter 的协方差更新 $P_{k|k} < P_{k|k-1}$ 正是这个思想的数学体现。
这是 KF L5 的经典例题，板书有完整推导。
Romeo 和 Juliet 开始约会。Juliet 每次迟到时间 $X$ 均匀分布在 $[0, \theta]$，其中 $\theta$ 是 Juliet 的"最大迟到时间"。$\theta$ 未知，Romeo 的先验是 $\theta \sim U[0,1]$。
第一次约会，Romeo 观测到 Juliet 迟到 $x$ 小时。Romeo 如何更新对 $\theta$ 的信念？
后验非零的条件：$x \le \theta \le 1$。
如果 Juliet 已经迟到了 $x$ 小时，那 $\theta < x$ 是不可能的——因为最大迟到时间不能小于实际迟到时间。后验 $\theta$ 的范围被截断为 $[x, 1]$，且密度在 $\theta = x$ 处最大，随 $\theta$ 增大递减。
如果 Juliet 迟到了整整 1 小时，则 $\theta = 1$ 唯一可能——后验退化成一个点。
📝 课堂板书练习：画出 $x=0.1,\; x=0.5,\; x=0.9$ 时的后验分布 $f(\theta|x)$。注意 $x$ 越大，$\theta$ 的定义域越窄，后验越"集中"。
【概念题】为什么 Bayes Rule 的分母被称为"归一化常数"？
分母确保后验 $p(\theta|x)$ 对 $\theta$ 的积分/求和等于 1。它不依赖于 $\theta$，只依赖于数据 $x$，因此只起归一化作用。
【数值计算】在 Romeo & Juliet 例子中，设 $x = 0.4$。计算 $f(\theta|x)$ 在 $\theta=0.5$ 和 $\theta=0.8$ 处的值。
$|\log(0.4)| = | -0.9163| = 0.9163$
$f(0.5|0.4) = 1/(0.5 \times 0.9163) = 2.183$
$f(0.8|0.4) = 1/(0.8 \times 0.9163) = 1.364$
$\theta$ 越小，后验密度越大——因为先验均匀 + 似然 $1/\theta$ 随 $\theta$ 增大而减小。
【推导】设 $\theta$ 连续、$x$ 离散。推导 Bayes Rule 公式 $f(\theta|x) = \frac{f(\theta) P(x|\theta)}{\int f(\theta') P(x|\theta') d\theta'}$。提示：由联合分布 $f(\theta, x) = f(\theta) P(x|\theta)$ 出发。
$f(\theta|x) = \frac{f(\theta, x)}{P(x)} = \frac{f(\theta) P(x|\theta)}{\int f(\theta') P(x|\theta') d\theta'}$，由条件概率定义得到。
【开放思考】在抽奖号码例子中，如果只给了你前 3 位数字，你对 $\theta$ 的不确定性减少了多少？用"可能性空间缩小比例"来量化。
前 3 位确定，候选从 $10^6$ 缩小到 $10^3$，缩小了 1000 倍。不确定性（熵）从 $\log(10^6)$ 降到 $\log(10^3)$，减少了一半。
$\theta$ 是随机变量。后验 $\propto$ 先验 $\times$ 似然。
$\theta$ 是常数。目标：找一个最佳数值。
KF L6：MAP、MMSE 与假设检验——从后验分布到点估计的三种方法。
📌 本讲在全系列中的位置：L1–L4 打下系统理论基础，L5 引入估计理论的核心思维——Bayesian 更新。接下来 L6（MAP/MMSE）和 L7（最大似然）将基于这讲的概念构建具体的估计器。最终这些全部汇入 Kalman Filter 的递归 Bayesian 更新框架。
施老师大课堂 · 研讨会系列 8 · KF L5 贝叶斯估计与 Bayes Rule
板书来源：pdf-md/20251227_施凌_研讨会系列8_KF_L5 md文档/
课程笔记：course-notes/08-KF L5：贝叶斯估计与 Bayes Rule.md