11 生成式AI从零教程

在之前的篇章中，我们探讨了生成模型类型，尤其是音频生成模型的特点与应用。在这一章，我们将专注于生成式AI模型训练前的基础工作——数据准备与清洗。只有经过精心准备和清洗的数据，才能让生成模型学到更全面和准确的特征，从而产生高质量的输出。

数据准备

1. 定义目标

在开始数据准备之前，首要任务是明确你的生成模型要解决的问题。例如，如果你的目标是生成音乐，则你需要音乐数据集；而如果你在做文本生成，则需要相应的文本数据。这一步至关重要，因为它将影响后续数据的选择和处理。

2. 数据收集

数据收集是生成式AI的基础。在本章，我们以文本生成和音频生成为例，讨论不同数据源的获取。

文本数据

文本数据可以通过以下方式收集：

• 网络爬虫： 使用爬虫工具（如Scrapy或BeautifulSoup）从互联网上抓取公开文本。
• 开放数据集： 利用已有的开放数据集（如Kaggle、UCI Machine Learning Repository）进行下载。

示例代码：

import requests

url = 'http://example.com/data.txt'
response = requests.get(url)

with open('data.txt', 'w', encoding='utf-8') as file:
    file.write(response.text)

音频数据

对于音频数据，同样可以采取以下途径：

• 音频库： 使用音频数据集（如LibriSpeech、Common Voice）下载。
• 录制工具： 自行采集音频，通过麦克风录制。

数据清洗

数据清洗是提升生成模型性能的另一重要步骤。接下来的步骤将帮助你确保数据的质量。

1. 去除噪声

无论是文本还是音频数据，噪声都是不可忽视的。文本中的拼写错误、HTML标签等，都需要过滤掉；音频中的背景噪音、静音片段也要去除。

文本清洗示例

import re

def clean_text(text):
    # 删除HTML标签
    clean = re.compile('<.*?>')
    text = re.sub(clean, '', text)
    
    # 删除特殊字符
    text = re.sub(r'[^A-Za-z0-9\s]', '', text)
    
    return text

with open('data.txt', 'r', encoding='utf-8') as file:
    raw_text = file.read()

cleaned_text = clean_text(raw_text)

音频清理示例

使用音频处理库（如Librosa）来去除噪声：

import librosa
import soundfile as sf

# 加载音频文件
audio_data, sr = librosa.load('input.wav')

# 进行去噪处理（示例：简单阈值处理）
audio_data_denoised = librosa.effects.preemphasis(audio_data)

# 保存清理后的音频
sf.write('output_denoised.wav', audio_data_denoised, sr)

2. 统一格式

确保所有数据遵循一致的格式，对于模型训练而言非常关键。例如，文本数据应保持统一的编码格式（如UTF-8），而音频数据则应保持相同的采样率和位深度。

3. 数据分割

在准备数据时，需要将数据集划分为训练集、验证集和测试集。这有助于评估模型的泛化能力。

from sklearn.model_selection import train_test_split

# 假设 cleaned_data 是我们清理后的文本数据列表
train_data, tmp_data = train_test_split(cleaned_data, test_size=0.2, random_state=42)
valid_data, test_data = train_test_split(tmp_data, test_size=0.5, random_state=42)

print(f'Train size: {len(train_data)}, Validation size: {len(valid_data)}, Test size: {len(test_data)}')

4. 数据增强

数据增强能有效提升模型的性能。对于文本数据，可以考虑同义词替换、随机删除一些词汇等；对于音频数据，可以通过音量调整、时间伸缩等手段来实现。

小结

通过详细的数据准备与清洗步骤，我们为生成式AI模型的训练打下了坚实的基础。在下一篇中，我们将讨论如何选择和设计合适的模型架构，以最大限度地发挥这些已清洗和准备好的数据的潜力。数据的质量直接影响模型的表现，因此在这一阶段切勿草率。之后形成良好的数据处理流程，将为你的生成项目奠定成功的基石。