17 CNN与RNN的特点

RNN 把序列按时间步展开，用隐藏状态保存上下文。理解它时，先把数据在每一步如何传递画清楚。这篇重点看结构。先把数据流、关键模块和输出层画清楚，再回头看公式或代码。

我会检查 batch、time step、feature 三个维度的顺序。序列模型里，维度顺序错了很常见。

在上一篇中，我们探讨了GAN（生成对抗网络）的应用实例，包括图像生成和风格迁移等。今天，我们将聚焦于CNN（卷积神经网络）与RNN（递归神经网络）的特点，并为后续讨论CNN的实际应用案例做铺垫。

1. 什么是RNN？

RNN通常用来处理序列数据，其设计理念是通过隐藏状态将序列中的信息进行传递。与传统的前馈神经网络不同，RNN能够处理任意长度的输入序列，并通过时间步的更新保持上下文信息。

比较 CNN 与 RNN 时，先看数据是图像网格还是时间序列，再看局部特征、上下文记忆、并行效率和典型应用。

RNN的基本结构

RNN的基本结构如下：

h_t = f(W_{hh}h_{t-1} + W_{xh}x_t + b_h)

其中， $h_t$ 表示当前时刻的隐藏状态， $x_t$ 为当前输入， $W_{hh}$ 和 $W_{xh}$ 是权重矩阵， $b_h$ 是偏置项。

特点

记忆能力：RNN能够保留和记忆之前的输入，并在后续步骤中继续利用这段上下文。
变长序列处理：能够处理任意长度的输入序列，适用于文本、语音等时序数据。
训练挑战：传统RNN在长序列训练时容易出现梯度消失或梯度爆炸的问题，通常需要使用LSTM或GRU等变种来改善这一问题。

2. RNN的应用案例

RNN在许多领域中都有广泛的应用，尤其在自然语言处理（NLP）和时间序列分析中表现出色。

读完《CNN与RNN的特点》不要只停在“看懂了”。回头挑一个步骤动手做一遍，再记录哪里卡住，后面的学习会更稳。

2.1 语言模型

在语言模型中，RNN能够根据前面的单词预测下一个单词。这项技术在机器翻译和文本生成中尤为重要。

示例代码

下面的代码使用Keras构建一个简单的RNN模型用于文本生成：

from keras.models import Sequential
from keras.layers import SimpleRNN, Dense, Embedding

# 创建模型
model = Sequential()
model.add(Embedding(input_dim=vocab_size, output_dim=embedding_dim, input_length=max_length))
model.add(SimpleRNN(units=128))
model.add(Dense(vocab_size, activation='softmax'))

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

2.2 时间序列预测

RNN也可以用于股票价格、气象数据等时间序列的预测，其通过对历史数据的建模来推测未来的趋势。

示例代码

以下代码展示如何使用LSTM进行时间序列预测：

from keras.models import Sequential
from keras.layers import LSTM, Dense

# 创建模型
model = Sequential()
model.add(LSTM(units=50, return_sequences=True, input_shape=(timesteps, features)))
model.add(LSTM(units=50))
model.add(Dense(units=1))

model.compile(loss='mean_squared_error', optimizer='adam')

3. RNN与CNN的对比

在深度学习的众多领域中，CNN与RNN各展风采：

练习《CNN与RNN的特点》时，建议把输入条件、处理动作和可见结果写在一起，方便下次复查。

复习《CNN与RNN的特点》时，建议把关键概念、操作步骤和可见结果放在同一页里回看。

数据类型：CNN通常用于处理图像数据，擅长提取局部特征；而RNN则适合处理时序数据，能捕捉时间维度上的上下文关系。
模型架构：CNN利用卷积层和池化层处理输入数据，重点关注空间信息；RNN则通过递归结构处理输入序列，关注时间信息。

接下来，我们将深入探讨CNN的实际应用案例，包括在图像分类、目标检测和图像分割等任务中的表现。这个领域与上一节的GAN密切相关，后续内容将帮助我们理解如何利用CNN技术实现特定的视觉任务。

17 CNN与RNN的特点

AI 30 个神经网络 · 第 17 / 62 篇