4 贝叶斯定理基础之贝叶斯定理的推导

在上一章节中，我们介绍了统计推断的基本概念，强调了在不确定性条件下做出决策的重要性。接下来，我们将深入探讨贝叶斯定理的推导，这是统计推断中的一个核心工具。贝叶斯定理为我们提供了一种结合先验知识与新数据来更新我们对某一事件的信念的方法。

贝叶斯定理的形式

贝叶斯定理描述了如何通过先验概率与似然函数来更新后验概率。其基本形式可以用以下方程表示：

$$
P(H|E) = \frac{P(E|H) \cdot P(H)}{P(E)}
$$

其中：

• $P(H|E)$ 是后验概率，即在观察事件 $E$ 之后，假设 $H$ 成立的概率。
• $P(E|H)$ 是似然度，表示在假设 $H$ 为真时，观察到事件 $E$ 的概率。
• $P(H)$ 是先验概率，即在观察事件 $E` 之前，对假设 $H$ 的初始信念。
• $P(E)$ 是边际概率，可以看作所有假设下观察到事件 $E$ 的概率。

贝叶斯定理的推导

为了推导贝叶斯定理，我们先从条件概率的定义出发。条件概率的定义为：

$$
P(H|E) = \frac{P(H \cap E)}{P(E)}
$$

根据条件概率的对称性，我们还可以写成：

$$
P(E|H) = \frac{P(H \cap E)}{P(H)}
$$

从这两式中，我们可以推出以下关系：

$$
P(H \cap E) = P(E|H) \cdot P(H)
$$

将此公式代入到后验概率的公式中，我们可以得到：

$$
P(H|E) = \frac{P(E|H) \cdot P(H)}{P(E)}
$$

在此基础上，我们需要计算边际概率 $P(E)$。边际概率可以通过全概率公式得到：

$$
P(E) = P(E|H) \cdot P(H) + P(E|¬H) \cdot P(¬H)
$$

将这一公式代入贝叶斯定理的推导中，我们最终确认了贝叶斯定理的正确性。

案例分析

为了更好地理解贝叶斯定理，我们来看一个具体的案例。

假设我们正在进行一种疾病的检测，已知该疾病在某一人群中的发病率为 $P(Disease) = 0.01$（即先验概率）。我们还知道：

• 如果一个人患有该疾病，检测结果呈阳性的概率为 $P(Positive|Disease) = 0.9$（即似然度）。
• 对于没有疾病的人，检测结果呈阳性的概率为 $P(Positive|¬Disease) = 0.05$。

我们想知道，如果某人检测结果为阳性，实际上他有疾病的概率，即后验概率 $P(Disease|Positive)$。

根据贝叶斯定理，我们首先需要计算边际概率 $P(Positive)$：

$$
P(Positive) = P(Positive|Disease) \cdot P(Disease) + P(Positive|¬Disease) \cdot P(¬Disease)
$$

带入数值计算：

$$
P(Positive) = 0.9 \cdot 0.01 + 0.05 \cdot (1 - 0.01) = 0.009 + 0.0495 = 0.0585
$$

接下来，我们可以应用贝叶斯定理计算后验概率：

$$
P(Disease|Positive) = \frac{P(Positive|Disease) \cdot P(Disease)}{P(Positive)} = \frac{0.9 \cdot 0.01}{0.0585} \approx 0.1538
$$

因此，即使检测结果为阳性，实际上该患者患有疾病的概率只有约 15.38%，这强调了在面对不确定性时先验概率的重要性。

总结

贝叶斯定理提供了一种结构化的方法来更新我们对某一事件的信念，它的推导基于条件概率的基本概念。在实际应用中，通过结合先验知识与新数据，贝叶斯推断能够有效地帮助我们做出更为准确的决策。在下一个章节中，我们将探讨贝叶斯定理基础之先验分布与后验分布的深入探讨。