13 数据分析方法

在大数据进阶的旅程中，数据分析方法是我们获取洞察的重要环节。前一篇文章中，我们对流处理与批处理进行了比较，强调了数据处理框架的重要性，而在此篇文章中，我们将专注于数据分析的核心方法，并为即将到来的可视化工具打下坚实基础。

数据分析方法概述

数据分析可以分为几种主要类型，每种类型都有其独特的目的和方法。以下是常见的几种数据分析方法：

• 描述性分析：用于描述数据的基本特征，通常是通过统计汇总和图形展示。它帮助我们了解数据的整体情况。

• 诊断性分析：注重探究数据背后的原因，其目标是解释“为什么会发生某些事情”。通常需要使用因果分析的方法。

• 预测性分析：利用历史数据来进行未来趋势的预测。这通常涉及机器学习模型和统计模型。

• 规范性分析：提供建议或决策支持，帮助用户做出更好的选择。它通常依赖于优化技术和模拟分析。

• **探索性数据分析 (EDA)**：通过视觉和统计手段探索数据集，以发现模式、趋势和关系，常常作为数据分析的第一步。

接下来，我们将详细讲解上述方法中的描述性分析和探索性数据分析。

描述性分析

描述性分析的目标是总结和呈现数据的特征。它通常用于获得初步的“感觉”，了解数据的基本统计量，如均值、标准差、最小值和最大值等。

示例

假设我们有一个关于学生考试成绩的数据集，包含以下数据：

import pandas as pd

data = {
    '学生': ['Alice', 'Bob', 'Charlie', 'David', 'Eva'],
    '成绩': [88, 92, 85, 78, 95]
}
df = pd.DataFrame(data)

# 计算基本统计量
statistics = df['成绩'].describe()
print(statistics)

这段代码将输出如下描述性统计：

count     5.000000
mean      87.600000
std       6.471365
min       78.000000
25%       85.000000
50%       88.000000
75%       90.000000
max       95.000000
Name: 成绩, dtype: float64

这些统计量帮助我们了解学生的表现，如平均成绩$87.6$，最高成绩为$95$，而最低成绩为$78$。

探索性数据分析（EDA）

在我们进行数据分析之前，进行探索性数据分析是非常重要的。它的目的是通过可视化和方法性总结，发现数据中的模式、特征、关系和异常值。

示例

我们继续使用上面提到的学生成绩数据集，进行一次简单的EDA。

import matplotlib.pyplot as plt
import seaborn as sns

# 绘制箱线图
plt.figure(figsize=(8, 5))
sns.boxplot(x=df['成绩'])
plt.title('学生考试成绩箱线图')
plt.show()

# 绘制成绩分布图
plt.figure(figsize=(8, 5))
sns.histplot(df['成绩'], kde=True, bins=5)
plt.title('学生考试成绩分布图')
plt.xlabel('成绩')
plt.ylabel('频率')
plt.show()

通过箱线图和分布图，我们可以观察到：

• 箱线图能够显示数据的中位数、上下四分位数以及异常值。
• 成绩分布图显示了成绩的大致分布情况，提供了关于数据集整体表现的直观印象。

结语

在这篇文章中，我们探讨了数据分析的基本方法，包括描述性分析和探索性数据分析。通过掌握这些分析方法，我们能够更有效地从数据中提取出有价值的信息和洞见，为后续的数据可视化提供坚实的基础。

在下一篇文章中，我们将介绍各种数据可视化工具及其在数据分析、可视化结果展现中的应用。这些工具将使我们的数据呈现更加生动，帮助更好地传达分析结果。