27 线性代数在神经网络中的作用

线性代数是机器学习和深度学习的重要基础，尤其在神经网络的构建与优化中扮演着关键角色。下面我们将探讨几个核心概念及其在神经网络中的应用。

向量与矩阵

向量

在神经网络中，输入数据通常以向量的形式表示。例如，对于一个包含特征的样本 x，其可以表示为一个向量：

x = [x_1, x_2, x_3, ..., x_n]

矩阵

当我们有多个样本时，这些向量可以组成一个矩阵。假设我们有 m 个样本，每个样本有 n 个特征，样本矩阵 X 可以表示为：

X = [[x_11, x_12, x_13, ..., x_1n],
     [x_21, x_22, x_23, ..., x_2n],
     ...
     [x_m1, x_m2, x_m3, ..., x_mn]]

在神经网络中，矩阵用于存储权重（weights）以及输入数据，从而能够高效地进行计算。

案例代码

使用 NumPy 库，我们可以方便地进行矩阵运算：

import numpy as np

# 输入向量
x = np.array([1, 2, 3])

# 权重矩阵
W = np.array([[0.2, 0.8],
              [0.5, 0.1],
              [0.6, 0.3]])

# 输出向量计算
output = np.dot(x, W)
print(output)  # 输出对应的计算结果

矩阵乘法和线性变换

在神经网络的前向传播中，矩阵乘法 是基本操作之一。假设我们有一层神经元，其权重表示为矩阵 W，输入表示为向量 x，则这一层的输出可以表示为：

y = W * x

这里的 y 是每个神经元的输出。每一层通过对输入进行线性变换，逐步提取特征。

案例

假设我们有一个简单的神经网络，有输入层、一个隐藏层和输出层。我们可以用矩阵乘法计算每层的输出：

# 输入层
input_layer = np.array([[0.5, 0.2]])  # 1个样本，2个特征

# 权重矩阵
weights_hidden = np.array([[0.4, 0.6],
                            [0.3, 0.7]])  # 2 * 2 (2个输入，2个隐层神经元)

# 隐藏层输出
hidden_layer = np.dot(input_layer, weights_hidden)  # 1 * 2

# 输出层权重
weights_output = np.array([[0.5],
                            [0.9]])  # 2 * 1 (2个隐层，1个输出)

# 输出层输出
output_layer = np.dot(hidden_layer, weights_output)
print(output_layer)

激活函数与非线性变换

虽然 矩阵乘法 提供了线性变换的能力，但实际的神经网络需要引入非线性关系。这里引入 激活函数，使得输出不仅仅是输入的线性组合。常见的激活函数有 Sigmoid、ReLU 和 Tanh。

案例代码

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 经过隐藏层的线性变换后的结果
linear_output = hidden_layer # 直接使用隐藏层输出

# 使用Sigmoid激活函数
activated_output = sigmoid(linear_output)
print(activated_output)

梯度下降与优化

在训练神经网络时，我们需要通过 反向传播 算法来更新权重，这依赖于 梯度 的计算。线性代数在这里同样发挥了重要作用，特别是在计算损失函数对权重的导数时。

我们首先计算损失函数，相应的梯度可以使用矩阵运算高效计算。例如，常用的均方误差损失函数可以表示为：

L = (1/2m) * Σ(y_pred - y)^2

通过求导，我们可以得到权重的更新公式。

总结

线性代数为神经网络的构建与训练提供了强大的支撑。通过向量和矩阵的表达，我们不仅能高效地处理数据，还能够通过线性和非线性变换提取特征，并通过梯度优化来改进模型性能。理解这些概念将帮助你在AI和深度学习的道路上走得更远。