13 贝叶斯回归之线性回归模型

在上一篇中，我们讨论了模型选择中的过拟合与正则化问题。在统计建模中，尤其是回归分析，总是存在着控制模型复杂度的需求。接下来，我们将深入探讨贝叶斯回归中的线性回归模型。这种模型允许我们在处理不确定性时，利用贝叶斯推断的思想来提供更稳健的结果和有效的预测。

线性回归模型的基本概念

线性回归模型的基本形式可以表示为：

$$
y = X\beta + \epsilon
$$

其中：

• y 是响应变量
• X 是自变量的设计矩阵
• \beta 是待估的回归系数
• \epsilon 是误差项，通常假设它服从均值为零、方差为 $\sigma^2$ 的正态分布，即 $\epsilon \sim \mathcal{N}(0, \sigma^2)$

贝叶斯线性回归从概率的角度考虑参数估计。我们将用先验分布表示回归系数 $\beta$，然后结合观测数据的似然函数，使用贝叶斯定理来推导后验分布。

贝叶斯推断

在贝叶斯框架下，我们的目标是通过贝叶斯定理来更新对参数 $\beta$ 的信念：

$$
p(\beta | y, X) = \frac{p(y | X, \beta) p(\beta)}{p(y | X)}
$$

这里：

• $p(y | X, \beta)$ 为似然函数
• $p(\beta)$ 为先验分布，对于线性回归，我们通常选择正态分布作为先验
• $p(y | X)$ 是边际似然，可以通过积分得到，但通常不需要直接计算。

选择先验分布

一般情况下，贝叶斯线性回归中常用的先验分布是正态分布：

$$
\beta \sim \mathcal{N}(\mu_0, \Sigma_0)
$$

这里：

• $\mu_0$ 是先验均值
• $\Sigma_0$ 是先验协方差矩阵

联合分布与后验推断

在已知观测数据的情况下，似然函数可以表示为：

$$
p(y | X, \beta) = \prod_{i=1}^{n} \mathcal{N}(y_i | X_i\beta, \sigma^2)
$$

综合似然与先验分布，我们得到 $\beta$ 的后验分布。经过一些数学推导，我们发现后验分布同样是正态的，即：

$$
\beta | y, X \sim \mathcal{N}(\mu_n, \Sigma_n)
$$

其中后验均值 $\mu_n$ 和协方差 $\Sigma_n$ 的计算公式为：

$$
\Sigma_n = (\Sigma_0^{-1} + \frac{1}{\sigma^2} X^TX)^{-1}
$$

$$
\mu_n = \Sigma_n(\Sigma_0^{-1}\mu_0 + \frac{1}{\sigma^2} X^Ty)
$$

实际案例：贝叶斯线性回归

下面我们通过一个简单的 Python 示例来演示贝叶斯线性回归的实现。

首先，我们需要安装 pymc3 和 numpy 库：

pip install pymc3 numpy matplotlib

接下来，我们构建一个简单的线性回归模型，并使用贝叶斯方法进行参数估计。

import numpy as np
import pymc3 as pm
import matplotlib.pyplot as plt

# 生成数据
np.random.seed(42)
X = np.random.randn(100, 1)
y = 2 * X.flatten() + 1 + np.random.randn(100) * 0.5

# 贝叶斯线性回归模型
with pm.Model() as model:
    # 先验分布
    alpha = pm.Normal('alpha', mu=0, sigma=10)
    beta = pm.Normal('beta', mu=0, sigma=10)
    sigma = pm.HalfNormal('sigma', sigma=1)
    
    # 线性回归的期望值
    mu = alpha + beta * X.flatten()
    
    # 似然函数
    Y_obs = pm.Normal('Y_obs', mu=mu, sigma=sigma, observed=y)
    
    # 进行采样
    trace = pm.sample(1000, return_inferencedata=False)

# 结果可视化
pm.plot_trace(trace)
plt.show()

在这个例子中，我们生成了一些线性关系的数据，并使用 PyMC3 库建立了一个贝叶斯线性回归模型。通过进行采样，我们可以得到关于参数 $\alpha$ 和 $\beta$ 的后验分布，从而获得模型的预测能力。

总结

在本篇中，我们探讨了贝叶斯线性回归模型，并通过贝叶斯推断来更新我们对回归系数的信念。我们展示了先验分布选择及其对后验分布的影响，利用实际代码示例说明如何在 Python 中实现贝叶斯线性回归。在下一篇中，我们将继续深入探讨贝叶斯回归中的先验选择与后验分析，进一步提升模型的灵活性和准确性。请继续关注！