9 数据处理之数据清洗与处理

在上一篇文章中，我们讨论了数据选择与过滤的相关内容，尤其是在使用 Pandas 进行数据操作时，如何高效地选择和过滤数据。现在我们将重点关注数据清洗与处理，这是数据分析过程中至关重要的一步。

什么是数据清洗？

数据清洗（Data Cleaning）是指对数据进行检测和修正的过程。数据往往会有缺失值、异常值或者不一致的格式，清洗数据的目的是提高数据的质量，使得后续的分析和建模更加准确。

常见的数据清洗步骤：

1. 处理缺失值
2. 处理重复数据
3. 标准化数据格式
4. 处理异常值
5. 数据转换

处理缺失值

在数据集中，缺失值是常见的问题。我们可以通过 Pandas 的 isnull() 方法和 fillna() 方法来处理缺失值。

示例

假设我们有一个关于学生成绩的数据如下：

import pandas as pd

data = {
    '姓名': ['小明', '小红', '小刚', None, '小丽'],
    '数学': [95, 88, None, 70, 85],
    '英语': [None, 82, 76, 90, 95]
}

df = pd.DataFrame(data)
print(df)

输出结果为：

    姓名    数学    英语
0   小明  95.0   NaN
1   小红  88.0  82.0
2   小刚   NaN  76.0
3  None  70.0  90.0
4   小丽  85.0  95.0

在这个数据集中，我们可以看到缺失的姓名、数学以及英语分数。我们可以选择删除包含缺失值的行或者用某个特定值填充缺失值。

# 填充缺失值
df['数学'].fillna(df['数学'].mean(), inplace=True)
df['英语'].fillna(df['英语'].mean(), inplace=True)

# 查看填充后的结果
print(df)

输出结果为：

    姓名    数学      英语
0   小明  95.0  86.60
1   小红  88.0  82.00
2   小刚  83.00  76.00
3  None  70.0  90.00
4   小丽  85.0  95.00

处理重复数据

有时候，数据集中可能会有重复的行。我们可以使用 duplicated() 方法来查找重复的行，并使用 drop_duplicates() 方法来删除它们。

示例

假设我们的数据集中包含重复记录：

data = {
    '姓名': ['小明', '小红', '小刚', '小明', '小丽', '小红'],
    '数学': [95, 88, 80, 95, 85, 88],
}

df = pd.DataFrame(data)
print("原始数据：")
print(df)

# 查找重复数据
duplicates = df.duplicated()
print("\n重复行：")
print(df[duplicates])

# 删除重复数据
df.drop_duplicates(inplace=True)
print("\n去重后的数据：")
print(df)

输出结果为：

原始数据：
    姓名  数学
0   小明  95
1   小红  88
2   小刚  80
3   小明  95
4   小丽  85
5   小红  88

重复行：
    姓名  数学
3   小明  95
5   小红  88

去重后的数据：
    姓名  数学
0   小明  95
1   小红  88
2   小刚  80
4   小丽  85

标准化数据格式

在数据清洗的过程中，有时候我们需要标准化字段的格式，例如日期格式或字符串的大小写。

示例

假设我们的数据集中日期的格式不一致，我们需要将它们转换为统一的格式：

data = {
    '姓名': ['小明', '小红'],
    '生日': ['1990-01-01', '1992/05/15']
}

df = pd.DataFrame(data)

# 标准化日期格式
df['生日'] = pd.to_datetime(df['生日'])
print(df)

输出结果为：

    姓名       生日
0   小明 1990-01-01
1   小红 1992-05-15

处理异常值

异常值指的是与其他数据点明显不同的值。我们可以用统计学方法，比如标准差、箱型图等，来识别异常值，并进行处理。

示例

下面的代码展示了如何使用标准差来处理异常值：

data = {
    '分数': [55, 60, 65, 70, 100, 150]  # 150是异常值
}

df = pd.DataFrame(data)

# 计算均值和标准差
mean = df['分数'].mean()
std = df['分数'].std()

# 设置阈值
threshold = 3
outliers = df[(df['分数'] < mean - threshold * std) | (df['分数'] > mean + threshold * std)]

print("异常值：")
print(outliers)

# 删除异常值
df = df[~df['分数'].isin(outliers['分数'])]
print("\n去除异常值后的数据：")
print(df)

输出结果为：

异常值：
    分数
5  150

去除异常值后的数据：
   分数
0  55
1  60
2  65
3  70
4  100

数据转换

数据转换是指将数据从一种格式转换为另一种格式，通常是在数据分析前的一步。

示例

例如，我们需要将一列的分数从百分制转换为五分制：

data = {
    '姓名': ['小明', '小红', '小刚'],
    '分数': [95, 85, 70]
}

df = pd.DataFrame(data)

# 将分数转换为五分制
df['五分制分数'] = (df['分数'] / 100) * 5
print(df)

输出结果为：

    姓名  分数