在上一篇中，我们介绍了贝叶斯定理的基本概念，包括先验分布和后验分布。现在，我们将深入探讨贝叶斯定理中的更新规则，即如何通过观测数据来更新我们的信念（或模型参数）。

贝叶斯定理回顾

首先，我们简要回顾一下贝叶斯定理的形式。贝叶斯定理可以如下表示：

$$P(H|D) = \frac{P(D|H) \cdot P(H)}{P(D)}$$

其中，

• $P(H|D)$ 为后验概率，即我们在观察数据 $D$ 后，关于假设 $H$ 的更新信念。
• $P(D|H)$ 为似然函数，表示在假设 $H$ 为真时观察到数据 $D$ 的概率。
• $P(H)$ 为先验概率，我们在观察数据之前对假设 $H$ 的信念。
• $P(D)$ 为边际概率，确保所有可能结果的概率总和为 1。

更新规则

通过上面的公式，我们可以看到，后验概率是如何依赖于先验概率和数据的。不同于经典统计方法，贝叶斯学习强调了利用先验知识的过程。一旦新的数据被观察到，我们可以利用贝叶斯公式对我们对某一假设的信念进行更新。

更新概率的过程

在实际应用中，假设我们在某个实验中，要判定一个硬币是否是公平的。我们的假设集可以是：

• $H_1$: 硬币是公平的。
• $H_2$: 硬币是不公平的。

假设先验概率

在没有任何数据之前，我们可能对这两个假设的先验概率做出如下评估：

• $P(H_1) = 0.5$
• $P(H_2) = 0.5$

收集数据

假设我们进行了一次实验，扔这枚硬币 10 次，结果为 7 次正面，3 次反面。我们需要计算出在观察到该结果后更新这两个假设的概率。

计算似然

接下来，我们计算在这两个假设下结果的似然性：

• 若硬币是公平的，观察到 7 次正面和 3 次反面，似然为： $P(D|H_1) = \binom{10}{7} \cdot (0.5)^{7} \cdot (0.5)^{3} = \frac{10!}{7!3!} \cdot (0.5)^{10}$

计算结果为 $P(D|H_1) = 0.1172$。

• 若硬币是不公平的，假设它的正面概率为 0.8，似然为： $P(D|H_2) = \binom{10}{7} \cdot (0.8)^{7} \cdot (0.2)^{3} = \frac{10!}{7!3!} \cdot (0.8)^{7} \cdot (0.2)^{3}$

计算结果为 $P(D|H_2) = 0.2013$。

更新后验概率

现在，我们可以应用贝叶斯定理更新后验概率：

1. 首先计算边际概率 $P(D)$：

$$P(D) = P(D|H_1) \cdot P(H_1) + P(D|H_2) \cdot P(H_2) = 0.1172 \cdot 0.5 + 0.2013 \cdot 0.5 = 0.15825$$

2. 然后计算后验概率：

• 对于 $H_1$：

$$P(H_1|D) = \frac{P(D|H_1) \cdot P(H_1)}{P(D)} = \frac{0.1172 \cdot 0.5}{0.15825} \approx 0.3704$$

• 对于 $H_2$：

$$P(H_2|D) = \frac{P(D|H_2) \cdot P(H_2)}{P(D)} = \frac{0.2013 \cdot 0.5}{0.15825} \approx 0.6296$$

最终，我们得到：

• $P(H_1|D) \approx 0.3704$
• $P(H_2|D) \approx 0.6296$

从这些计算可以看出，经过观察数据，我们对硬币不公平的假设的信念有所增强。

结论

通过上述示例，我们看到如何应用贝叶斯定理进行概率更新。这个过程允许我们整合新的数据并动态调整对假设的信念。在实际中，贝叶斯学习的强大之处在于它允许利用先前的知识，同时使我们能够在不断变化的环境中进行自我修正。

在下一篇文章中，我们将讨论最大后验估计 (MAP)，继续深入贝叶斯统计推断的世界，具备实用的参数估计方法。希望大家继续关注。