23 GAN 的稳定性和优化技巧

生成对抗网络（GAN）因其生成高质量数据的能力而受到广泛关注。然而，训练 GAN 是一个极具挑战性的任务，因为它们可能会遇到不稳定的问题，如模式崩溃、发散或收敛慢。在本节中，我们将讨论一些提高 GAN 稳定性和效果的优化技巧。

1. 学习率的选择

选择合适的学习率对于 GAN 的训练至关重要。过高的学习率可能导致训练不稳定，而过低的学习率可能导致收敛缓慢。

• 经验法则：通常建议生成器和鉴别器使用不同的学习率。生成器的学习率可以设置为 1e-3，而鉴别器的学习率可以设置为 1e-4。这样可以保持二者之间的动态平衡。

# 示例代码
generator_optimizer = torch.optim.Adam(generator.parameters(), lr=1e-3)
discriminator_optimizer = torch.optim.Adam(discriminator.parameters(), lr=1e-4)

2. 使用批归一化 (Batch Normalization)

批归一化在 GAN 中是一个有效的技巧，它能够帮助加快训练速度和提高模型稳定性。它通过规范化层的输入来使学习过程更加平稳，从而减少内部协变量偏移。

在生成器和鉴别器的网络结构中，可以在每个层之后加入 BatchNorm。

# 示例代码（生成器）
class Generator(nn.Module):
    def __init__(self):
        super(Generator, self).__init__()
        self.model = nn.Sequential(
            nn.Linear(100, 256),
            nn.BatchNorm1d(256),
            nn.ReLU(True),
            nn.Linear(256, 512),
            nn.BatchNorm1d(512),
            nn.ReLU(True),
            nn.Linear(512, 1024),
            nn.BatchNorm1d(1024),
            nn.ReLU(True),
            nn.Linear(1024, 28 * 28),
            nn.Tanh()
        )

    def forward(self, z):
        return self.model(z)

3. 采用渐进增长的训练方式

渐进增长的方法 (Progressive Growing) 是一种在训练 GAN 时使生成器逐步增加网络层的技巧。这种方法可以有效地提高生成图像的质量和训练的稳定性。

• 步骤：
  • 从最简单的生成器和鉴别器开始，只生成小尺寸的图像（例如，4x4）。
  • 随着训练的进行，逐步增加层并扩大输出图像的尺寸（例如，8x8，16x16，直到达到目标尺寸）。

# 示例伪代码
for epoch in range(num_epochs):
    if epoch % increase_frequency == 0:
        # 增加生成器和鉴别器的复杂度
        increase_layers(generator)
        increase_layers(discriminator)

4. 平衡生成器和鉴别器的训练

训练 GAN 时，生成器和鉴别器的训练是交替进行的。通常需要确保它们的训练是平衡的，避免某一方过强而导致不稳定。

• 反向传播策略：可以设定 n_critic 参数，在对抗训练中多次训练鉴别器，而不是每次只训练一次。例如，设置 n_critic = 5 意味着每次生成器训练前鉴别器训练 5 次。

# 示例代码
for i in range(n_critic):
    # 训练鉴别器
    train_discriminator(real_data, fake_data)

# 训练生成器
train_generator()

5. 使用标签平滑（Label Smoothing）

标签平滑是一种防止过拟合和提高模型泛化能力的技巧。具体而言，在训练时，将标签从 1 调整为 0.9（对真实图像）和从 0 调整为 0.1（对生成图像）。

这会使鉴别器变得更加鲁棒，并降低它对训练样本噪声的敏感性。

# 示例代码
# 对真实标签进行平滑处理
real_labels = torch.full((batch_size, 1), 0.9)  # 为真实图像使用平滑标签

6. 改善损失函数

使用合适的损失函数可以改善 GAN 的训练效果。除了标准的对抗损失，可以考虑使用 Wasserstein Loss 或 Least Squares GAN（LSGAN），这些损失函数可以提供更好的梯度信号，从而改善训练稳定性。

• Wasserstein GAN (WGAN):
  • 使用 Wasserstein Distance 作为损失函数。
  • 添加权重裁剪或使用渐近更新。

# WGAN损失示例
def wgan_loss(real_output, fake_output):
    return torch.mean(fake_output) - torch.mean(real_output)

7. 经验模式的剪切 (Gradient Penalty)

在 WGAN 中，引入了一个 “梯度惩罚” 的技术，它可以保证鉴别器的 Lipschitz 连续性。通过对鉴别器输出相对于输入的梯度的 L2 范数进行惩罚，可以大大增强训练的稳定性。

# 示例代码
def gradient_penalty(discriminator, real_samples, fake_samples):
    # Compute the gradient
    alpha = torch.rand(real_samples.size(0), 1, 1, 1, requires_grad=True)
    interpolated = alpha * real_samples + (1 - alpha) * fake_samples
    d_interpolated = discriminator(interpolated)
    gradients = torch.autograd.grad(outputs=d_interpolated,
                                    inputs=interpolated,
                                    grad_outputs=torch.ones(d_interpolated.size()),
                                    create_graph=True,
                                    retain_graph=True)[0]
    return ((gradients.norm(2) - 1) ** 2).mean()

结论

通过应用上述优化技巧，可以显著提高 GAN 的训练稳定性和生成样本的质量。选择合适的学习率、使用批归一化、采用渐进增长策略、平衡训练、使用标签平滑及改进损失函数等，都是成功训练 GAN 的关键因素。在实际应用中，建议根据具体数据集和任务对这些技巧进行适当调整与优化。