研讨会系列 9 · Kalman Filter L6

MAP、MMSE 与假设检验

有了后验分布之后,如果只能输出一个数,应该输出哪个?——从分布到决策。

📅 2026-01-04 ⏱ ~90 分钟 📊 中级 🎯 估计理论

🎯 学完本节,你应能

理解MAP与MMSE估计的异同,能应用假设检验框架分析问题

📖 前置知识

建议先完成前面的课程,或具备线性代数与概率论基础。

1. 从后验分布到点估计

观测 $x$ 后,我们有后验分布 $f(\theta|x)$。但实际应用常需要输出一个数:

$$ \hat\theta = g(x) $$

这个 $g$ 叫 estimator(估计器)。关键在于:选哪个数最能代表整个分布?

2. MAP:最大后验估计

连续情况:

$$ \hat\theta_{\text{MAP}} = \arg\max_\theta f(\theta|x) $$

离散情况:

$$ \hat\theta_{\text{MAP}} = \arg\max_\theta P(\theta|x) $$

💡 通俗解释: MAP 选择后验分布最高的那个点,也就是"最可能的参数值"。

⚠️ 易错点: MAP 不一定唯一。如果后验有两个同样高的峰,就有两个 MAP 解。

3. MMSE:最小均方误差估计

估计误差:$e = \theta - \hat\theta$。MMSE 要最小化:

$$ E[(\theta - \hat\theta)^2 | x] $$

结论——MMSE 估计就是后验均值:

$$ \hat\theta_{\text{MMSE}} = E[\theta|x] $$

💡 通俗解释: 如果损失函数是平方误差,那么均值是最好的代表点。

4. MAP 和 MMSE 的区别

📍 MAP

看最高点(众数)

优化:0-1 损失

🎯 MMSE

看平均位置(均值)

优化:平方损失

如果后验分布对称且单峰(例如高斯分布):

$$ \hat\theta_{\text{MAP}} = \hat\theta_{\text{MMSE}} $$

如果后验偏斜或多峰,两者可能不同。

5. 【课堂例题】Romeo & Juliet 的 MAP 和 MMSE

上一讲得到后验分布:

$$ f(\theta|x) = \frac{1}{\theta |\log x|},\quad x \le \theta \le 1 $$

MAP

这个密度随 $\theta$ 增大而下降,所以最大点在 $\theta = x$:

$$ \hat\theta_{\text{MAP}} = x $$

MMSE

后验均值:

$$ \hat\theta_{\text{MMSE}} = E[\theta|x] = \int_{x}^1 \theta \cdot \frac{1}{\theta |\log x|} d\theta = \frac{1-x}{|\log x|} $$

✨ 启发: 同一个后验,MAP 和 MMSE 会因为优化准则不同给出不同答案。选择哪个取决于你的损失函数。

6. 【补充例题】离散后验

假设 $\theta$ 只能取 0、1、2,后验概率为:

$$ P(\theta=0|x)=0.2,\quad P(\theta=1|x)=0.5,\quad P(\theta=2|x)=0.3 $$

📍 MAP

$$ \hat\theta_{\text{MAP}} = 1 $$

🎯 MMSE

$$ E[\theta|x] = 0\cdot0.2 + 1\cdot0.5 + 2\cdot0.3 = 1.1 $$

📝 注意: MMSE 不一定是 $\theta$ 的可取值之一(1.1 不是整数)。

7. 假设检验

如果 $\theta$ 只能取 $\theta_{1}, \ldots, \theta_{m}$,每个取值对应一个假设:

$$ H_{i}: \theta = \theta_{i} $$

MAP 规则:选择使 $P(\theta_{i}|x)$ 最大的假设。

利用 Bayes rule:

$$ P(\theta_{i}|x) = \frac{P(\theta_{i}) P(x|\theta_{i})}{P(x)} $$

因为 $P(x)$ 对所有假设一样,比较时只需比较 先验 × 似然:

$$ P(\theta_{i}) P(x|\theta_{i}) $$

8. 【课堂例题】两枚偏硬币

有两枚硬币:硬币 1 正面概率 $p_{1}$,硬币 2 正面概率 $p_{2}$。随机等概率选一枚,投一次,观测到反面。

$$ H_{1}: \text{选中硬币 1},\quad H_{2}: \text{选中硬币 2} $$

观测反面 $x=0$。比较:

$$ P(H_{1})P(x=0|H_{1}) = 0.5(1-p_{1}) $$ $$ P(H_{2})P(x=0|H_{2}) = 0.5(1-p_{2}) $$

如果 $p_{1} < p_{2}$,则 $1-p_{1} > 1-p_{2}$,所以更可能是硬币 1。

💡 通俗解释: 看到反面,更支持"更容易出反面"的那枚硬币。

🧪 试试看

假设 $p_{1}=0.3, p_{2}=0.8$,观测到反面。你选哪个假设?

9. 为什么这和 Kalman Filter 有关

在线性高斯系统中,后验分布是高斯分布。高斯分布对称单峰,所以:

$$ \text{MAP} = \text{MMSE} $$

这也是 Kalman Filter 能同时有多种解释的原因:

🎯 核心: 高斯让一切简化为优雅的解析解——这也是 KF 如此优美的原因。

📌 小结

📍 MAP

后验的"最高点"
优化 0-1 损失

🎯 MMSE

后验的"平均位置"
优化平方损失

🧪 假设检验

MAP 规则:选择 $P(\theta_{i})P(x|\theta_{i})$ 最大的假设

📝 自测题

  1. MAP 和 MMSE 分别优化什么目标?
  2. 为什么 MMSE 可能不是参数可取值之一?
  3. 两枚硬币例子中,若看到正面,应更支持哪枚硬币?
查看答案提示

1. MAP 最大化后验概率(0-1 损失下最优);MMSE 最小化均方误差(平方损失下最优),结果为后验均值。

2. 均值可以不是离散取值集合中的元素。例如离散后验均值 1.1 不在 {0,1,2} 中。

3. 看到正面应更支持正面概率更大的那枚硬币。若 $p_{1} > p_{2}$ 则更支持硬币 1。

施老师大课堂 · 研讨会系列 9 · KF L6 MAP、MMSE 与假设检验

字幕来源:subtitles/20260104_施凌_研讨会系列9_KF_L6_audio_461f8fb080064680.srt