深度学习论文: GhostNets on Heterogeneous Devices via Cheap Operations及其PyTorch实现

深度学习论文: GhostNets on Heterogeneous Devices via Cheap Operations及其PyTorch实现
GhostNets on Heterogeneous Devices via Cheap Operations
PDF: https://arxiv.org/pdf/2201.03297.pdf
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

进一步考虑GPU设备的高效网络。在不涉及过多的GPU低效操作（例如，深度卷积）的情况下，提出利用阶段性特征冗余来制定GPU高效的Ghost（G-Ghost）阶段结构。阶段中的特征被分成两部分，第一部分使用输出通道较少的原始块进行处理以生成固有特征，另一部分则通过利用阶段性的冗余来生成廉价的操作。

• 对之前的GhostNet从CPU段拓展到GPU服务器上；
• 从卷积冗余拓展到layers 或者 blocks冗余；

下图为输入图像经ResNet34第三stage的第一个block和最后一个block产生的特征图，里面有许多成对的相似特征图。

2 G-Ghost Stage

下图b和c分别为提出的G-Ghost Stage以及加入mix操作的G-Ghost Stage。

mix 操作用于内在特征聚合（intrinsic feature aggregation ）：

$\tau$ 的具体实现为：global average pooling后接一个全连接层。

3 G-GhostNet