7 最大后验估计 (MAP)

在本篇教程中，我们将深入探讨最大后验估计（Maximum A Posteriori Estimation, MAP）。在上一篇中，我们学习了贝叶斯定理的基础知识及其更新规则。现在，我们将利用贝叶斯定理来进行参数估计，通过最大后验估计来求解参数。

贝叶斯定理与后验分布

贝叶斯定理的核心思想是通过观察到的数据来更新我们对某一参数的信念。后验分布是我们在观察到数据后对参数的分布，这可以从以下公式表示：

$$
p(\theta | D) = \frac{p(D | \theta) p(\theta)}{p(D)}
$$

其中：

• $p(\theta | D)$ 是在给定数据 $D$ 的条件下参数 $\theta$ 的后验分布。
• $p(D | \theta)$ 是似然函数，即在参数 $\theta$ 下数据 $D$ 出现的概率。
• $p(\theta)$ 是先验分布，反映了在观察数据之前我们对参数 $\theta$ 的信念。
• $p(D)$ 是边际似然，不依赖于参数 $\theta$。

最大后验估计 (MAP) 的定义

最大后验估计（MAP）是通过最大化后验分布来估计参数值。具体而言，我们寻找以下表达式的最大值：

$$
\hat{\theta}{MAP} = \arg \max{\theta} p(\theta | D)
$$

利用贝叶斯定理，上述表达式也可以转化为：

$$
\hat{\theta}{MAP} = \arg \max{\theta} p(D | \theta) p(\theta)
$$

因为 $p(D)$ 是常数，因此在最大化时可以忽略它。

MAP的应用案例：硬币抛掷

假设我们有一枚硬币，我们想估计硬币朝上的概率 $\theta$，我们进行了10次抛掷，结果得到了7次正面（H），3次反面（T）。我们可以利用最大后验估计来估计 $\theta$。

1. 选择先验分布

我们选用一个Beta分布作为先验分布：

$$
p(\theta) = \text{Beta}(\alpha, \beta) = \frac{\theta^{\alpha - 1} (1 - \theta)^{\beta - 1}}{B(\alpha, \beta)}
$$

我们选择 $\alpha = 2$ 和 $\beta = 2$，这表示我们在抛掷之前认为正反面是一样的。

2. 似然函数

在10次抛掷中，得到7次正面，3次反面，似然函数为：

$$
p(D | \theta) = \theta^7 (1 - \theta)^3
$$

3. 后验分布的计算

最大化后验分布等同于最大化以下表达式：

$$
p(\theta | D) \propto p(D | \theta) p(\theta) \propto \theta^7 (1 - \theta)^3 \cdot \theta^{1} (1 - \theta)^{1} = \theta^{8} (1 - \theta)^{4}
$$

4. 求解MAP估计

要求 $\theta^{8} (1 - \theta)^{4}$ 的最大值，我们可以对其进行求导并找到临界点：

$$
\frac{d}{d\theta} \left( \theta^{8} (1 - \theta)^{4} \right) = 0
$$

使用优化算法或数值计算，可以得到：

import numpy as np
from scipy.optimize import minimize_scalar

# 定义目标函数
def objective(theta):
    return - (theta**8 * (1 - theta)**4)  # 负号因为我们在求最小值

result = minimize_scalar(objective, bounds=(0, 1), method='bounded')
theta_map = result.x
print("MAP估计的值：", theta_map)

这段代码将会输出我们估计的硬币正面朝上的概率 $\theta$ 的值。

总结

本篇教程详细介绍了最大后验估计（MAP）的概念及其应用。我们利用硬币抛掷的例子，展示了如何通过最大化后验分布来求解参数。在下篇教程中，我们将比较贝叶斯估计与频率估计，进一步加深我们对统计推断的理解。

通过掌握最大后验估计，我们为进一步的贝叶斯学习打下了基础。如果你有任何疑问或需要更深入的讨论，欢迎随时提问！