关于深度可分离卷积

阅读 80

2022-03-30

写在前面:

 Depthwise(DW)卷积与Pointwise(PW)卷积,合起来被称作Depthwise Separable Convolution

一、Depthwise 卷积

 

     传统的卷积,比如(1, 3, 64, 64) 与 kernel_size = (3,3)的卷积核进行卷积,需要在三个通道上同时计算,计算量很大,但是depthwise卷积,则把卷积核分成3个,每一个卷积核分别与输入进行卷积计算,节省了大量时间。

     缺点:

      1.丢失了空间信息,使卷积计算变得独立,原本是结合三个通道上的信息进行卷积,现在使不同通道间变得独立

       2.不能修改卷积的输出通道

     (在nn.Conv2d()中需要设置groups = in_channelnnel)

二、Pointwise 卷积

       1.卷积核大小为 1*1*M ,M为输入的通道数,这里的卷积运算会将上一步的map在深度方向上进行加权组合,生成新的Feature map

       2.可以修改输出的通道

代码如下:

from torch import nn

class separableconv(nn.Module):
def __init__(self, in_ch, out_ch, stride):
super(separableconv, self).__init__()
self.depth_conv = nn.Conv2d(
in_channels=in_ch,
out_channels=in_ch,
kernel_size=3,
stride=stride,
padding=1,
groups=in_ch
)
self.point_conv = nn.Conv2d(
in_channels=in_ch,
out_channels=out_ch,
kernel_size=1,
stride=1,
padding=0,
groups=1
)

def forward(self, input):
out = self.depth_conv(input)
out = self.point_conv(out)
return out

侵权删

精彩评论(0)

0 0 举报