37 EfficientNet之节点处理

查看大图

EfficientNet 的核心是同时缩放深度、宽度和分辨率，而不是只把某一项盲目加大。这篇先建立整体地图：它解决什么问题、核心模块是什么、适合放在哪类任务里。

查看大图

我会把输入分辨率、参数量、推理延迟和准确率放在一起看。高效模型要算整体账。

在深度学习的领域里，EfficientNet 是一种非常先进的卷积神经网络（CNN），它不仅在准确性上达到了顶尖的水平，而且在模型的资源效率上也表现优异。本篇教程将聚焦于 EfficientNet 的节点处理及其在实际应用中的一些关键细节。

EfficientNet概述

EfficientNet 的核心贡献在于其通过“复合缩放”方法，系统地优化了网络的宽度、深度和分辨率。这种方法比起传统的单一方式（仅加深或加宽网络）更为有效。EfficientNet 的基本结构是由一系列的 Mobile Inverted Bottleneck convolution 组成，这类卷积层在移动设备上的表现尤为出色。

查看大图

读这篇时，可以把「EfficientN -> 复合缩放 -> EfficientN -> 特征传递」当成一条检查线：先抓住对象、动作和判断依据，再回到案例、代码或指标里复查。

复合缩放

为了确保 EfficientNet 在不同的任务和资源约束下均能表现良好，研究者提出了通过比例因子来对网络的深度、宽度和分辨率进行缩放。具体来说，假设我们有基础网络 B_0，通过不同的比例因子 $φ$ 来生成不同的模型：

$$B_k = φ^{d_k} B_0$$

其中，$d_k$ 是深度、宽度和分辨率的缩放因子。

EfficientNet中的节点处理

节点处理是指在模型中各个层（或节点）如何相互作用以及如何优化这些交互以提升整体性能。在 EfficientNet 中，节点处理的特点之一就是利用了一种高效的特征传递方式。

查看大图

读完《EfficientNet之节点处理》后，可以回头问三件事：它解决什么问题，哪一步最容易出错，自己能否拿一个小例子跑通。

特征传递

EfficientNet 采用引入了 Squeeze-and-Excitation (SE) 块。这种机制的目标是自适应地重标定特征通道，从而增强模型对关键信息的关注。

Squeeze-and-Excitation (SE) 块

SE 块通过以下过程来实现特征增强：

1. Squeeze 阶段：通过全局平均池化将特征图压缩为一个特征向量。
2. Excitation 阶段：应用两个全连接层以及 ReLU 和 sigmoid 激活函数来生成一个通道权重向量。

$$\begin{aligned} z & = \text{GlobalAvgPool}(x) \\ s & = \sigma(W_2 \cdot \text{ReLU}(W_1 \cdot z)) \\ \hat{x} & = s \odot x \end{aligned}$$

其中，$W_1$和$W_2$ 是可学习的权重，$\odot$ 是逐元素乘法操作。这种机制允许网络有选择地关注更重要的特征通道，从而改善性能。

Python代码示例：EfficientNet 的节点处理

接下来是一个使用 EfficientNet 的示例，展示如何利用 Keras 实现 SE 块和构建网络。

import tensorflow as tf
from tensorflow.keras import layers, models

def squeeze_and_excitation(input, ratio=16):
    filters = input.shape[-1]
    se_shape = (1, 1, filters)
    
    se = layers.GlobalAveragePooling2D()(input)
    se = layers.Reshape(se_shape)(se)
    se = layers.Dense(filters // ratio, activation='relu')(se)
    se = layers.Dense(filters, activation='sigmoid')(se)
    
    return layers.multiply([input, se])

def efficientnet_node(input_shape=(224, 224, 3)):
    inputs = layers.Input(shape=input_shape)
    x = layers.Conv2D(32, (3, 3), strides=(2, 2), padding='same')(inputs)
    x = squeeze_and_excitation(x)  # 应用SE块
    # 继续构建EfficientNet的其它层
    x = layers.GlobalAveragePooling2D()(x)
    x = layers.Dense(10, activation='softmax')(x)  # 假设有10个类别
    model = models.Model(inputs, x)
    return model

model = efficientnet_node()
model.summary()

在这段代码中，我们定义了一个基本的 EfficientNet 网络结构，包含了 Squeeze-and-Excitation 块。该网络可以进一步扩展以包含更多层和复杂的功能。

查看大图

复习《EfficientNet之节点处理》时，建议把关键概念、操作步骤和可见结果放在同一页里回看。

查看大图

练习《EfficientNet之节点处理》时，建议把输入条件、处理动作和可见结果写在一起，方便下次复查。

总结

在本篇教程中，我们详细探讨了 EfficientNet 中的节点处理及其特征传递机制，特别是 Squeeze-and-Excitation 块的作用。通过对网络结构的优化以及特征通道的自适应调整，EfficientNet 在多个基准任务中均展现了出色的性能。

在下一篇中，我们将具体分析 EfficientNet 的应用案例，展示其在实际任务中的表现如何与前面的理论结合。

继续关注，让我们一起深入学习如何将 EfficientNet 应用到真实的深度学习场景中！