9 特征选择与工程

在机器学习的流程中，数据预处理是一个至关重要的步骤。在上一篇教程中，我们重点讨论了“数据清洗”的内容，包括如何处理缺失值、异常值和数据格式问题。本篇我们将继续探讨数据预处理中的另一个重要方面——“特征选择与工程”。在这篇文章中，我们将介绍如何选择和构建特征，以提高模型的表现，并为接下来的“模型选择与训练”做好准备。

什么是特征选择与工程？

在机器学习中，特征是用于训练模型的输入变量。特征选择是从原始特征中挑选出对预测结果最有用的特征，而特征工程则是通过创造性的方法构造新的特征，以增强模型的表现。

良好的特征是提高模型预测精度的关键。因此，特征选择与工程在整个机器学习工作流中占据了重要位置。

特征选择

特征选择的目的是减少特征的数量，从而提高模型的性能，降低过拟合风险，并提升计算效率。常用的特征选择方法包括但不限于：

1. 过滤法（Filter Method）

通过评估特征与输出变量之间的相关性，选择相关性最强的特征。常用的评估指标包括相关系数、卡方检验等。

示例代码

import pandas as pd
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectKBest, f_classif

# 加载数据
data = load_iris()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

# 使用过滤法选择最佳特征
selector = SelectKBest(score_func=f_classif, k=2)
X_new = selector.fit_transform(X, y)

print("选择的特征：", X.columns[selector.get_support()])

2. 包裹法（Wrapper Method）

将特征选择过程视为一个特征子集的搜索问题。通过构建模型来评估特征组合的效果，常用的方法包括递归特征消除（Recursive Feature Elimination，RFE）。

示例代码

from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

# 创建逻辑回归模型
model = LogisticRegression(max_iter=1000)

# 使用递归特征消除法选择特征
rfe = RFE(model, 2)
fit = rfe.fit(X, y)

print("选择的特征：", X.columns[fit.support_])

3. 嵌入法（Embedded Method）

将特征选择与模型训练结合在一起，常见的算法如LASSO回归。LASSO回归通过在损失函数中加入L1正则化，使得某些特征的权重趋近于零，从而实现特征选择。

示例代码

from sklearn.linear_model import Lasso

# 使用LASSO回归
lasso = Lasso(alpha=0.1)
lasso.fit(X, y)

# 选择非零权重的特征
print("选择的特征：", X.columns[lasso.coef_ != 0])

特征工程

特征工程是创造新的特征以提高模型性能的过程。这通常需要对数据有更深的理解和领域知识。

1. 特征变换

例如，进行数值特征的标准化或归一化，使其具有相同的尺度。通常使用StandardScaler或MinMaxScaler。

示例代码

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

print("标准化后的特征：\n", X_scaled[:5])

2. 类别特征编码

对于类别特征，需要将其转换为数值类型。常用的方法包括独热编码（One-Hot Encoding）和标签编码（Label Encoding）。

示例代码

# 创建示例数据
data = pd.DataFrame({
    'color': ['red', 'blue', 'green'],
    'size': ['S', 'M', 'L']
})

# 使用独热编码
data_encoded = pd.get_dummies(data, columns=['color', 'size'])
print("独热编码后的特征：\n", data_encoded)

3. 新特征构造

通过组合现有特征来生成新特征。例如，可以通过将“房间数量”和“面积”结合来生成“单位面积房价”。

案例：房价预测

假设我们在进行房价预测，初步的数据集中有多个特征如“房间数量”、“居住面积”、“年份”等。为了提升模型的效果，我们可以：

• 将“居住面积”转换为“每房间的面积”。
• 提取“年份”的“建造年代”作为新特征。
• 对于类别特征如“房屋类型”，使用独热编码。

最终准备

经过特征选择和工程的处理后，我们将获得一个精简的特征集合。这样，我们就为下一步——“模型选择与训练”奠定了良好的基础。

在下一篇教程中，我们将讨论如何根据数据特征选择合适的模型，并进行训练。希望通过本篇的特征选择与工程的介绍，能够帮助你更有效地预处理数据，提高机器学习模型的表现。