6 贝叶斯定理基础之更新规则与例子
在上一篇中，我们介绍了贝叶斯定理的基本概念，包括先验分布和后验分布。现在，我们将深入探讨贝叶斯定理中的更新规则，即如何通过观测数据来更新我们的信念（或模型参数）。
贝叶斯定理回顾
首先，我们简要回顾一下贝叶斯定理的形式。贝叶斯定理可以如下表示：
$$
P(H|D) = \frac{P(D|H) \cdot P(H)}{P(D)}
$$
其中，
- $P(H|D)$ 为后验概率，即我们在观察数据 $D$ 后，关于假设 $H$ 的更新信念。
- $P(D|H)$ 为似然函数，表示在假设 $H$ 为真时观察到数据 $D$ 的概率。
- $P(H)$ 为先验概率，我们在观察数据之前对假设 $H$ 的信念。
- $P(D)$ 为边际概率，确保所有可能结果的概率总和为 1。
更新规则
通过上面的公式，我们可以看到，后验概率是如何依赖于先验概率和数据的。不同于经典统计方法，贝叶斯学习强调了利用先验知识的过程。一旦新的数据被观察到，我们可以利用贝叶斯公式对我们对某一假设的信念进行更新。
更新概率的过程
在实际应用中，假设我们在某个实验中，要判定一个硬币是否是公平的。我们的假设集可以是：
- $H_1$: 硬币是公平的。
- $H_2$: 硬币是不公平的。
假设先验概率
在没有任何数据之前，我们可能对这两个假设的先验概率做出如下评估：
- $P(H_1) = 0.5$
- $P(H_2) = 0.5$
收集数据
假设我们进行了一次实验，扔这枚硬币 10 次，结果为 7 次正面，3 次反面。我们需要计算出在观察到该结果后更新这两个假设的概率。
计算似然
接下来，我们计算在这两个假设下结果的似然性：
- 若硬币是公平的，观察到 7 次正面和 3 次反面，似然为：
$$P(D|H_1) = \binom{10}{7} \cdot (0.5)^{7} \cdot (0.5)^{3} = \frac{10!}{7!3!} \cdot (0.5)^{10}$$
计算结果为 $P(D|H_1) = 0.1172$。
- 若硬币是不公平的，假设它的正面概率为 0.8，似然为：
$$P(D|H_2) = \binom{10}{7} \cdot (0.8)^{7} \cdot (0.2)^{3} = \frac{10!}{7!3!} \cdot (0.8)^{7} \cdot (0.2)^{3}$$
计算结果为 $P(D|H_2) = 0.2013$。
更新后验概率
现在，我们可以应用贝叶斯定理更新后验概率：
首先计算边际概率 $P(D)$：
$$
P(D) = P(D|H_1) \cdot P(H_1) + P(D|H_2) \cdot P(H_2) = 0.1172 \cdot 0.5 + 0.2013 \cdot 0.5 = 0.15825
$$然后计算后验概率：
对于 $H_1$：
$$
P(H_1|D) = \frac{P(D|H_1) \cdot P(H_1)}{P(D)} = \frac{0.1172 \cdot 0.5}{0.15825} \approx 0.3704
$$对于 $H_2$：
$$
P(H_2|D) = \frac{P(D|H_2) \cdot P(H_2)}{P(D)} = \frac{0.2013 \cdot 0.5}{0.15825} \approx 0.6296
$$
最终，我们得到：
- $P(H_1|D) \approx 0.3704$
- $P(H_2|D) \approx 0.6296$
从这些计算可以看出，经过观察数据，我们对硬币不公平的假设的信念有所增强。
结论
通过上述示例，我们看到如何应用贝叶斯定理进行概率更新。这个过程允许我们整合新的数据并动态调整对假设的信念。在实际中，贝叶斯学习的强大之处在于它允许利用先前的知识，同时使我们能够在不断变化的环境中进行自我修正。
在下一篇文章中，我们将讨论**最大后验估计 (MAP)**，继续深入贝叶斯统计推断的世界，具备实用的参数估计方法。希望大家继续关注。
6 贝叶斯定理基础之更新规则与例子
