生成对抗网络（GAN）因其生成高质量数据的能力而受到广泛关注。然而，训练 GAN 是一个极具挑战性的任务，因为它们可能会遇到不稳定的问题，如模式崩溃、发散或收敛慢。在本节中，我们将讨论一些提高 GAN 稳定性和效果的优化技巧。
1. 学习率的选择
选择合适的学习率对于 GAN 的训练至关重要。过高的学习率可能导致训练不稳定，而过低的学习率可能导致收敛缓慢。
- 经验法则：通常建议生成器和鉴别器使用不同的学习率。生成器的学习率可以设置为
1e-3，而鉴别器的学习率可以设置为 1e-4。这样可以保持二者之间的动态平衡。
1
2
3
|
generator_optimizer = torch.optim.Adam(generator.parameters(), lr=1e-3)
discriminator_optimizer = torch.optim.Adam(discriminator.parameters(), lr=1e-4)
|
2. 使用批归一化 (Batch Normalization)
批归一化在 GAN 中是一个有效的技巧，它能够帮助加快训练速度和提高模型稳定性。它通过规范化层的输入来使学习过程更加平稳，从而减少内部协变量偏移。
在生成器和鉴别器的网络结构中，可以在每个层之后加入 BatchNorm。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
class Generator(nn.Module):
def __init__(self):
super(Generator, self).__init__()
self.model = nn.Sequential(
nn.Linear(100, 256),
nn.BatchNorm1d(256),
nn.ReLU(True),
nn.Linear(256, 512),
nn.BatchNorm1d(512),
nn.ReLU(True),
nn.Linear(512, 1024),
nn.BatchNorm1d(1024),
nn.ReLU(True),
nn.Linear(1024, 28 * 28),
nn.Tanh()
)
def forward(self, z):
return self.model(z)
|
3. 采用渐进增长的训练方式
渐进增长的方法 (Progressive Growing) 是一种在训练 GAN 时使生成器逐步增加网络层的技巧。这种方法可以有效地提高生成图像的质量和训练的稳定性。
- 步骤：
- 从最简单的生成器和鉴别器开始，只生成小尺寸的图像（例如，4x4）。
- 随着训练的进行，逐步增加层并扩大输出图像的尺寸（例如，8x8，16x16，直到达到目标尺寸）。
1
2
3
4
5
6
|
for epoch in range(num_epochs):
if epoch % increase_frequency == 0:
increase_layers(generator)
increase_layers(discriminator)
|
4. 平衡生成器和鉴别器的训练
训练 GAN 时，生成器和鉴别器的训练是交替进行的。通常需要确保它们的训练是平衡的，避免某一方过强而导致不稳定。
- 反向传播策略：可以设定
n_critic 参数，在对抗训练中多次训练鉴别器，而不是每次只训练一次。例如，设置 n_critic = 5 意味着每次生成器训练前鉴别器训练 5 次。
1
2
3
4
5
6
7
|
for i in range(n_critic):
train_discriminator(real_data, fake_data)
train_generator()
|
5. 使用标签平滑（Label Smoothing）
标签平滑是一种防止过拟合和提高模型泛化能力的技巧。具体而言，在训练时，将标签从 1 调整为 0.9（对真实图像）和从 0 调整为 0.1（对生成图像）。
这会使鉴别器变得更加鲁棒，并降低它对训练样本噪声的敏感性。
1
2
3
|
real_labels = torch.full((batch_size, 1), 0.9)
|
6. 改善损失函数
使用合适的损失函数可以改善 GAN 的训练效果。除了标准的对抗损失，可以考虑使用 Wasserstein Loss 或 Least Squares GAN（LSGAN），这些损失函数可以提供更好的梯度信号，从而改善训练稳定性。
- Wasserstein GAN (WGAN):
- 使用
Wasserstein Distance 作为损失函数。
- 添加权重裁剪或使用渐近更新。
1
2
3
|
def wgan_loss(real_output, fake_output):
return torch.mean(fake_output) - torch.mean(real_output)
|
7. 经验模式的剪切 (Gradient Penalty)
在 WGAN 中，引入了一个 “梯度惩罚” 的技术，它可以保证鉴别器的 Lipschitz 连续性。通过对鉴别器输出相对于输入的梯度的 L2 范数进行惩罚，可以大大增强训练的稳定性。
1
2
3
4
5
6
7
8
9
10
11
12
|
def gradient_penalty(discriminator, real_samples, fake_samples):
alpha = torch.rand(real_samples.size(0), 1, 1, 1, requires_grad=True)
interpolated = alpha * real_samples + (1 - alpha) * fake_samples
d_interpolated = discriminator(interpolated)
gradients = torch.autograd.grad(outputs=d_interpolated,
inputs=interpolated,
grad_outputs=torch.ones(d_interpolated.size()),
create_graph=True,
retain_graph=True)[0]
return ((gradients.norm(2) - 1) ** 2).mean()
|
结论
通过应用上述优化技巧，可以显著提高 GAN 的训练稳定性和生成样本的质量。选择合适的学习率、使用批归一化、采用渐进增长策略、平衡训练、使用标签平滑及改进损失函数等，都是成功训练 GAN 的关键因素。在实际应用中，建议根据具体数据集和任务对这些技巧进行适当调整与优化。
