1. MAP 最大化后验概率(0-1 损失下最优);MMSE 最小化均方误差(平方损失下最优),结果为后验均值。
2. 均值可以不是离散取值集合中的元素。例如离散后验均值 1.1 不在 {0,1,2} 中。
3. 看到正面应更支持正面概率更大的那枚硬币。若 $p_{1} > p_{2}$ 则更支持硬币 1。
有了后验分布之后,如果只能输出一个数,应该输出哪个?——从分布到决策。
理解MAP与MMSE估计的异同,能应用假设检验框架分析问题
建议先完成前面的课程,或具备线性代数与概率论基础。
观测 $x$ 后,我们有后验分布 $f(\theta|x)$。但实际应用常需要输出一个数:
这个 $g$ 叫 estimator(估计器)。关键在于:选哪个数最能代表整个分布?
连续情况:
离散情况:
💡 通俗解释: MAP 选择后验分布最高的那个点,也就是"最可能的参数值"。
⚠️ 易错点: MAP 不一定唯一。如果后验有两个同样高的峰,就有两个 MAP 解。
估计误差:$e = \theta - \hat\theta$。MMSE 要最小化:
结论——MMSE 估计就是后验均值:
💡 通俗解释: 如果损失函数是平方误差,那么均值是最好的代表点。
看最高点(众数)
优化:0-1 损失
看平均位置(均值)
优化:平方损失
如果后验分布对称且单峰(例如高斯分布):
如果后验偏斜或多峰,两者可能不同。
上一讲得到后验分布:
这个密度随 $\theta$ 增大而下降,所以最大点在 $\theta = x$:
后验均值:
✨ 启发: 同一个后验,MAP 和 MMSE 会因为优化准则不同给出不同答案。选择哪个取决于你的损失函数。
假设 $\theta$ 只能取 0、1、2,后验概率为:
📝 注意: MMSE 不一定是 $\theta$ 的可取值之一(1.1 不是整数)。
如果 $\theta$ 只能取 $\theta_{1}, \ldots, \theta_{m}$,每个取值对应一个假设:
MAP 规则:选择使 $P(\theta_{i}|x)$ 最大的假设。
利用 Bayes rule:
因为 $P(x)$ 对所有假设一样,比较时只需比较 先验 × 似然:
有两枚硬币:硬币 1 正面概率 $p_{1}$,硬币 2 正面概率 $p_{2}$。随机等概率选一枚,投一次,观测到反面。
观测反面 $x=0$。比较:
如果 $p_{1} < p_{2}$,则 $1-p_{1} > 1-p_{2}$,所以更可能是硬币 1。
💡 通俗解释: 看到反面,更支持"更容易出反面"的那枚硬币。
假设 $p_{1}=0.3, p_{2}=0.8$,观测到反面。你选哪个假设?
在线性高斯系统中,后验分布是高斯分布。高斯分布对称单峰,所以:
这也是 Kalman Filter 能同时有多种解释的原因:
🎯 核心: 高斯让一切简化为优雅的解析解——这也是 KF 如此优美的原因。
后验的"最高点"
优化 0-1 损失
后验的"平均位置"
优化平方损失
MAP 规则:选择 $P(\theta_{i})P(x|\theta_{i})$ 最大的假设
1. MAP 最大化后验概率(0-1 损失下最优);MMSE 最小化均方误差(平方损失下最优),结果为后验均值。
2. 均值可以不是离散取值集合中的元素。例如离散后验均值 1.1 不在 {0,1,2} 中。
3. 看到正面应更支持正面概率更大的那枚硬币。若 $p_{1} > p_{2}$ 则更支持硬币 1。
施老师大课堂 · 研讨会系列 9 · KF L6 MAP、MMSE 与假设检验
字幕来源:subtitles/20260104_施凌_研讨会系列9_KF_L6_audio_461f8fb080064680.srt