14 数据预处理与模型训练之特征工程

在上一篇教程中，我们探讨了数据清洗与准备的相关内容，强调了如何处理缺失值、异常值等问题，为后续的特征工程奠定了基础。特征工程是机器学习和深度学习中至关重要的一步，它涉及到如何选择、修改和构建新的特征，以提高模型的性能。在本篇文章中，我们将深入探讨特征工程的相关概念和技术，力求为初学者提供一个清晰的学习路径。

什么是特征工程？

特征工程是从原始数据中提取出可用于机器学习模型的特征的过程。一个好的特征可以帮助模型更好地理解数据，提高预测精度。特征工程通常包括特征选择、特征提取和特征构造等步骤。

1. 特征选择

特征选择是指在给定数据中挑选出最有用的特征，去除那些冗余或不相关的特征。特征选择可以帮助减少模型的复杂性，同时提高模型的性能。常见的特征选择方法包括：

• 过滤法：根据特征与目标变量之间的某种度量（如相关系数、卡方检验）进行选择。
• 包裹法：使用特定的学习算法来评估特征子集的好坏。
• 嵌入法：将特征选择与模型训练结合起来，使用模型的评估指标选择特征。

示例：使用Sklearn进行特征选择

import pandas as pd
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectKBest, f_classif

# 加载数据集
iris = load_iris()
X = iris.data
y = iris.target

# 选择最佳的两个特征
selector = SelectKBest(score_func=f_classif, k=2)
X_new = selector.fit_transform(X, y)

# 显示选择的特征
print("原始特征数量：", X.shape[1])
print("选择后的特征数量：", X_new.shape[1])

2. 特征提取

特征提取是从原始数据中生成新的特征的过程。它通常应用于高维数据，如图像和文本。通过特征提取，我们可以将原始数据转换为更有意义的形式。

示例：使用PCA进行特征提取

主成分分析（PCA）是一种常用的特征提取方法，它可以将高维数据投影到低维空间。

from sklearn.decomposition import PCA

# 使用PCA将特征降到2维
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)

print("PCA降维后的特征形状：", X_pca.shape)

3. 特征构造

特征构造是我们通过已有特征创建新的特征的过程。例如，我们可以通过将两个特征相乘或取其比值得到新特征。这种方法不仅可以增加模型的表达能力，还可以捕捉数据的非线性关系。

示例：特征构造

假设我们有一个数据集，包含“价格”和“数量”两个特征，我们可以创建一个新的特征“总金额”。

# 假设我们有一个数据框df
df = pd.DataFrame({
    '价格': [100, 200, 300],
    '数量': [1, 2, 3]
})

# 创建新特征'总金额'
df['总金额'] = df['价格'] * df['数量']

print(df)

结论

特征工程是数据预处理与模型训练过程中不可或缺的一部分，它直接影响到模型的性能。通过特征选择、特征提取和特征构造等方法，我们可以有效地提升模型的预测能力。在实际应用中，特征工程需要反复试验和调整，以找到最优的特征组合。

在下一篇文章中，我们将探讨训练集与测试集的划分及其重要性，为模型的训练和评估提供基础。希望大家能够继续关注这一系列教程，深入掌握深度学习的各项技巧与方法。