详情:
传统卷积神经网络,内存需求大、运算量大 导致无法在移动设备以及嵌入式设备上运行.
MobileNet网络专注于移动端或者嵌入 式设备中的轻量级CNN网络。相比传统卷积神经网络,在准确率小幅降 低的前提下大大减少模型参数与运算量。(相比VGG16准确率减少了0.9%, 但模型参数只有VGG的1/32)
网络中的亮点:
Ø Depthwise Convolution(大大减少运算量和参数数量)
Ø 增加超参数α、β
深度可分卷积(DW卷积和PW卷积)
PW卷积:普通卷积,只不过他的卷积核大小为1。每个卷积核的深度与输入特征矩阵深度相同,输出特征矩阵深度与卷积核个数相同。
区别:
上图是普通卷积,下图是深度可分卷积
Df是输入特征矩阵的高和宽
Dk是卷积核的大小
M是输入特征矩阵的深度
N输出特征矩阵的深度
参数:
阿尔法应该就是来控制每个通道上所使用卷积核的通道数的
控制卷积过程中卷积核的个数(卷积核倍率)
卷积核多少只与输出通道数有关,大小和输入通道和卷积核设置的长宽有关
贝塔是分辨率参数
阿尔法代表的是输入输出通道数量,左图输出通道数有32,64,128等数字,a就是用来乘这些数字的,以此来减少输入输出通道数,来达到减少参数的目的
MobileNet v2
相比MobileNet V1网络,准确率更高,模型更小。
网络中的亮点:
ØInverted Residuals(倒残差结构)
ØLinear Bottlenecks
DW卷积本身会造成信息损失,升维后再进行DW卷积可以减少信息损失
原论文:文中说明了如果维度小时使用non-linear activation会损失信息,维度越大越不容易损失,因而使用倒残差结构,增大维度
这里1*1卷积核个数应为tk
s=1,保证了输入输出分辨率(H、W)相同;“输入输出特征局长形状相同” 这里特指的是输入输出的 channel k=k'
<ps:resnet下采样是有短接,残差部分进行了下采样,长宽减半,通道翻倍>
网络模型结构的参数
bottleneck倒残差结构
一个block由一系列bottleneck组成
这里的shortcut没有进行卷积运算,如果是纯加法需要维度相同,只有每一个部分的第一层没有shortcut,n大于1就可以有shortcut了
ReLU6
y = ReLU6(x) = min(max(x,0),6)
倒残差结构的最后一层
它使用了线性激活函数,输入是二维矩阵channel=1,使用不同维度的T矩阵变换到更高一个维度上,而后使用rrelu激活函数,得到输出值,然后再使用一个T-1逆T矩阵还原为2D矩阵。
随着dim的增加我们的信息减少越来越少。