16 统计学小白教程

在我们的统计学小白教程中，我们已经探讨了推断统计的核心概念，比如大数法则和中心极限定理。今天，我们将深入研究回归分析的基础——线性回归。线性回归是数据分析中最基本和常用的技术之一，旨在描述变量之间的关系，帮助我们进行预测。

一、线性回归的基本概念

线性回归是一种建立一个自变量与因变量之间的线性关系的统计方法。我们通常用一个简单的线性方程来表示这个关系：

$$
y = \beta_0 + \beta_1 x + \epsilon
$$

在这个公式中：

• $y$ 是因变量（我们要预测的变量）
• $x$ 是自变量（用来预测的变量）
• $\beta_0$ 是截距，表示当自变量 $x$ 为0时因变量 $y$ 的值
• $\beta_1$ 是斜率，表示自变量 $x$ 每增加一个单位，因变量 $y$ 预期增加 $\beta_1$ 个单位
• $\epsilon$ 是误差项，表示因变量 $y$ 与回归方程预测值之间的差异

二、线性回归的假设

在进行线性回归分析时，有几个重要的假设需要满足：

1. 线性关系：自变量和因变量之间的关系必须是线性的。
2. 独立性：观测值必须是相互独立的。
3. 同方差性：误差的方差应该是常数，即残差不应随自变量的变化而变化。
4. 正态性：误差（残差）应服从正态分布，尤其是在样本量较小的情况下。

三、线性回归的案例

假设我们有一组关于学生的学习时间和考试成绩的数据，想要分析学习时间与考试成绩之间的关系。我们有以下数据：

学习时间（小时）	考试成绩（分数）
2	60
3	65
5	70
8	80
10	85

我们可以使用 Python 的 statsmodels 库来进行线性回归分析。以下是代码示例：

import pandas as pd
import statsmodels.api as sm
import matplotlib.pyplot as plt

# 创建数据集
data = {
    '学习时间': [2, 3, 5, 8, 10],
    '考试成绩': [60, 65, 70, 80, 85]
}
df = pd.DataFrame(data)

# 自变量和因变量
X = df['学习时间']
y = df['考试成绩']

# 添加常数项
X = sm.add_constant(X)

# 创建线性回归模型
model = sm.OLS(y, X).fit()

# 输出模型摘要
print(model.summary())

# 绘制散点图及回归线
plt.scatter(df['学习时间'], df['考试成绩'], color='blue', label='数据点')
plt.plot(df['学习时间'], model.predict(X), color='red', label='回归线')
plt.xlabel('学习时间（小时）')
plt.ylabel('考试成绩（分数）')
plt.legend()
plt.show()

结果分析

运行上述代码后，model.summary() 将返回模型的详细信息。你可以看到诸如 $R^2$ 值（决定系数），它表示自变量解释的因变量的方差比例。如果 $R^2$ 值接近1，那么模型的拟合效果较好。

例如，假设我们得到了 $R^2 = 0.95$，这意味着95%的考试成绩方差能够通过学习时间来解释。

四、线性回归的应用

线性回归的应用非常广泛，除了教育领域外，还适用于经济学（如收入与支出的关系）、生物学（如药物剂量与疗效的关系）等多种领域。利用线性回归，我们可以在多个自变量的情况下分析因变量的变化趋势，为决策提供数据支持。

五、总结

线性回归是探索变量关系的重要工具，它能够帮助我们理解数据，进行预测。在进行线性回归分析时，始终要检查相关假设是否成立，以确保模型的可靠性。在下一节中，我们将继续探讨回归分析的进一步内容——多元回归。这将涉及多个自变量之间的相互作用以及它们对因变量的联合影响。希望你继续关注我们的系列教程！