13 定义损失函数

在机器学习中，损失函数是衡量模型输出与真实值之间差异的指标。为了保证我们训练的模型能够有效地进行预测，我们需要定义一个合适的损失函数。本文将深入探讨如何在 PyTorch 中定义和使用损失函数，并与上一篇中提到的激活函数和下一篇关于优化器的内容相连接。

为什么损失函数重要？

损失函数的核心作用是指导优化器如何调整模型参数，使得最终模型的预测结果尽可能接近目标输出。通过计算损失函数的值，优化器能够了解当前模型的表现，从而在训练过程中不断地进行调整。

常见的损失函数

在 PyTorch 中，有多种损失函数可供选择，以下是一些常见的损失函数：

1. 均方误差损失 (MSELoss): 适用于回归问题，定义为预测值与真实值之间差值的平方和的平均值。

   $$
   \text{MSELoss} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2
   $$

2. 交叉熵损失 (CrossEntropyLoss): 常用于分类问题，能够处理多类别标签。

   $$
   \text{CrossEntropyLoss} = -\frac{1}{n} \sum_{i=1}^{n} \sum_{j=1}^{C} y_{ij} \log(\hat{y}_{ij})
   $$

   其中，$C$为类别数，$y_{ij}$为真实标签，$\hat{y}_{ij}$为预测概率。

3. 二元交叉熵损失 (BCELoss): 适用于二分类问题。

   $$
   \text{BCELoss} = -\frac{1}{n} \sum_{i=1}^{n} [y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)]
   $$

在 PyTorch 中定义损失函数

让我们通过一个简单的示例来了解如何在 PyTorch 中定义损失函数。假设我们正在训练一个简单的回归模型，使用均方误差损失。

示例代码

import torch
import torch.nn as nn
import torch.optim as optim

# 创建一个简单的线性模型
class SimpleModel(nn.Module):
    def __init__(self):
        super(SimpleModel, self).__init__()
        self.linear = nn.Linear(1, 1)

    def forward(self, x):
        return self.linear(x)

# 初始化模型、损失函数和优化器
model = SimpleModel()
criterion = nn.MSELoss()  # 策略（定义损失函数）
optimizer = optim.SGD(model.parameters(), lr=0.01)  # 待讲解的优化器

# 示例输入输出
x = torch.tensor([[1.0], [2.0], [3.0]], requires_grad=True)
y = torch.tensor([[2.0], [4.0], [6.0]])

# 训练过程
for epoch in range(100):
    model.train()
    
    # 清零梯度
    optimizer.zero_grad()

    # 前向传播
    outputs = model(x)
    
    # 计算损失
    loss = criterion(outputs, y)  # 计算损失
    print(f'Epoch {epoch+1}, Loss: {loss.item()}')

    # 反向传播
    loss.backward()
    
    # 更新参数
    optimizer.step()

在上面的代码中，我们首先定义了一个简单的线性模型，然后使用 nn.MSELoss() 来定义均方误差损失。每次迭代中，我们计算输出与真实值之间的损失，并通过梯度下降法更新模型参数。

总结

定义合适的损失函数是模型训练过程中非常重要的一步。它直接影响模型的学习方向与效果。在 PyTorch 中，我们可以轻松地通过 torch.nn 模块中的内置损失函数来实现。

在下一篇中，我们将讨论如何选择优化器，为模型的训练提供更有效的参数更新策略。希望通过上篇的激活函数、当前篇的损失函数以及接下来的优化器选择，使大家能够更全面地掌握模型训练的关键要素。