0
点赞
收藏
分享

微信扫一扫

如何保证Redis和数据库的数据一致性

海牙秋天 2024-10-29 阅读 13

详情:

传统卷积神经网络,内存需求大、运算量大 导致无法在移动设备以及嵌入式设备上运行.

MobileNet网络专注于移动端或者嵌入 式设备中的轻量级CNN网络。相比传统卷积神经网络,在准确率小幅降 低的前提下大大减少模型参数与运算量。(相比VGG16准确率减少了0.9%, 但模型参数只有VGG的1/32)

网络中的亮点:
Ø Depthwise Convolution(大大减少运算量和参数数量)
Ø 增加超参数α、β 

深度可分卷积(DW卷积和PW卷积)

PW卷积:普通卷积,只不过他的卷积核大小为1。每个卷积核的深度与输入特征矩阵深度相同,输出特征矩阵深度与卷积核个数相同。

区别:

上图是普通卷积,下图是深度可分卷积

Df是输入特征矩阵的高和宽

Dk是卷积核的大小

M是输入特征矩阵的深度

N输出特征矩阵的深度

参数:

阿尔法应该就是来控制每个通道上所使用卷积核的通道数的

控制卷积过程中卷积核的个数(卷积核倍率)

卷积核多少只与输出通道数有关,大小和输入通道和卷积核设置的长宽有关

贝塔是分辨率参数

阿尔法代表的是输入输出通道数量,左图输出通道数有32,64,128等数字,a就是用来乘这些数字的,以此来减少输入输出通道数,来达到减少参数的目的

MobileNet v2

相比MobileNet V1网络,准确率更高,模型更小。

网络中的亮点:
ØInverted Residuals(倒残差结构)
ØLinear Bottlenecks

DW卷积本身会造成信息损失,升维后再进行DW卷积可以减少信息损失

原论文:文中说明了如果维度小时使用non-linear activation会损失信息,维度越大越不容易损失,因而使用倒残差结构,增大维度

这里1*1卷积核个数应为tk

s=1,保证了输入输出分辨率(H、W)相同;“输入输出特征局长形状相同” 这里特指的是输入输出的 channel k=k'

<ps:resnet下采样是有短接,残差部分进行了下采样,长宽减半,通道翻倍>

网络模型结构的参数

bottleneck倒残差结构

一个block由一系列bottleneck组成

这里的shortcut没有进行卷积运算,如果是纯加法需要维度相同,只有每一个部分的第一层没有shortcut,n大于1就可以有shortcut了

ReLU6

y = ReLU6(x) = min(max(x,0),6)

倒残差结构的最后一层

它使用了线性激活函数,输入是二维矩阵channel=1,使用不同维度的T矩阵变换到更高一个维度上,而后使用rrelu激活函数,得到输出值,然后再使用一个T-1逆T矩阵还原为2D矩阵。
随着dim的增加我们的信息减少越来越少。

举报

相关推荐

0 条评论