8 贝叶斯估计与频率估计的比较

在之前的讨论中，我们介绍了最大后验估计 (MAP)，这是参数估计中的一个重要方法。今天，我们将进一步探讨贝叶斯估计与频率估计的比较，强调这两种方法在参数估计中的不同以及它们各自的优缺点。

理论基础

贝叶斯估计

贝叶斯估计是一种基于贝叶斯定理的参数估计方法。通过结合先验知识和观测数据，贝叶斯估计能够为参数提供一个后验分布。给定观测数据 $x$，参数 $\theta$ 的后验分布可以表示为：

$$
p(\theta | x) = \frac{p(x | \theta) p(\theta)}{p(x)}
$$

其中，$p(x | \theta)$ 是似然函数，$p(\theta)$ 是先验分布，$p(x)$ 是边际似然。贝叶斯估计通常通过计算后验分布的期望值来获得参数的点估计：

$$
\hat{\theta}_{\text{Bayes}} = E[\theta | x] = \int \theta p(\theta | x) d\theta
$$

频率估计

频率估计则主要依赖于观测数据本身，没有引入先验信息。在频率统计中，最常用的方法是最大似然估计 (MLE)。MLE 通过最大化似然函数来找到参数的估计值：

$$
\hat{\theta}{\text{MLE}} = \arg \max{\theta} p(x | \theta)
$$

这种方法只依赖于数据，从而可以避免先验信息的引入。

案例比较

为了更好地理解贝叶斯估计与频率估计之间的区别，我们考虑一个简单的案例。假设我们要估计一个硬币的正面朝上的概率 $\theta$。

数据生成

假设我们抛硬币 10 次，得到了 7 次正面朝上：

import numpy as np

# 模拟抛硬币 10 次
np.random.seed(42)
n_flips = 10
heads = 7  # 正面朝上的次数

贝叶斯估计

首先，我们选取一个 Beta 分布作为先验分布 $p(\theta)$，例如 $Beta(1, 1)$，这表示我们最初对硬币是公平的假设。然后，根据观测到的数据更新这个分布。

后验分布将是：

$$
p(\theta | x) \sim Beta(1 + \text{heads}, 1 + \text{tails}) = Beta(8, 4)
$$

使用 Python 计算后验期望值：

from scipy.stats import beta

# 先验参数
a_prior = 1
b_prior = 1

# 更新后验参数
a_post = a_prior + heads
b_post = b_prior + (n_flips - heads)

# 后验期望
posterior_mean = beta.mean(a_post, b_post)
posterior_mean

频率估计

对于频率估计，我们可以使用最大似然估计：

$$
\hat{\theta}_{\text{MLE}} = \frac{\text{heads}}{n_flips} = \frac{7}{10} = 0.7
$$

这是基于观测到的数据直接计算的结果。在 Python 中的实现如下：

# 最大似然估计
mle_estimate = heads / n_flips
mle_estimate

比较总结

• 信息来源：

  • 贝叶斯估计结合了先验信息与数据，适用于数据稀缺的情况。
  • 频率估计完全依据观测数据，适用于数据充足的情况。

• 结果表现：

  • 贝叶斯估计产生一个后验分布，可以提供不确定性量化。
  • 频率估计提供单一的点估计，缺乏不确定性表征。

• 适用场景：

  • 贝叶斯方法能够灵活结合先验知识，非常适合在不确定性较大的场景使用。
  • 频率方法在大样本情况下通常表现较好且实现简单。

在下一篇文章中，我们将讨论参数的选择与评估，深入探讨如何根据估计结果选择合适的模型和方法。