概述
本文提出了一种基于双向残差学习的去雾方法。本文的方法是由生成式对抗网络(GANs)实现的，它由雾霾消除和雾霾重建两个部分组成。该方法交替使用残差去除和重建模糊区域，以产生更精确的无雾图像。我们采用基于扩展树结构的特征融合策略来包含更多的空间信息，并将光谱归一化技术应用到GAN网络中。定量和定性实验证明了该方法的有效性，表明该方法优于目前最先进的去雾算法。
主要贡献
- 本文提出了一种双向残差学习去雾方法，其中去雾通道网络从雾状图像生成无雾图像，雾状构造通道网络从生成的无雾图像恢复雾状图像。
-
提出了一种基于扩展树结构的特征融合方法来实现有效的残差学习
-
通过使用该方法解决其他低层次的视觉任务，如去雨，来证明我们的双向剩余学习方法的有效性和适用性。
去雾模型
在本文中，作者提出了一种基于gan的去雾方法，该方法考虑了在生成雾图和无雾图像时的残差。虽然残差学习是一种众所周知的技术，但是利用残差去雾还没有得到积极的研究。与传统的去雾方法不同，本文的方法直接对图像进行了双向的残差处理，既可以得到有雾图像，也可以得到无雾图像，结果更加准确。对于这种双向生成，采用了类似于CycleGAN的深度神经结构 。
该网络包含第一个卷积-relu层之后的6个树残块，每个树残块有4个逆残块。对于一个剩余块的快捷连接，逐元素求和替换为逐元素减法。实验表明，在残差学习中，基于元素的减法运算优于基于元素的求和运算。树残差块使用扩张卷积，其中扩张因子设置为1 ~ 4，以考虑各个接受域。在树残差块和逆残差块中，采用树结构融合特征。在最后一个卷积-tanh层之前，我们对残差特征图和第一个卷积层进行元素减法(求和)，用于去雾(生成雾)通过网络。通过这些操作，该网络可以产生模糊和无雾图像。为每个特征图使用16个通道。
残差学习去雾
残差学习在深度学习的计算机视觉问题中得到了广泛的应用。它首先被用于解决超分辨率问题，但计算机视觉中的其他问题已经开始被视为一种形式:Y = X−R. Y是我们想要获得的清晰图像，而X是带有雾霾、雨或雪的图像。我们可以通过去除残留(如雾，雨或雪)来获得清晰的图像 。为了去雾，残差学习被重新表述为:
其中J(x)为无霾图像，I(x)为雾霾图像，R(x)为残差图像。将残差图像表示为无霾图像与霾图像的差值映射。那么，去雾过程中残差学习的损失函数可以设计为:
其中θ表示训练参数，F(·)为生成器网络。利用的损失函数，我们可以训练深度神经网络去雾，因为估计的残差可以通过从朦胧图像中减去残差得到无雾图像。针对传统卷积神经网络在去雾残差估计方面存在的局限性，提出了一种基于GAN的残差学习去雾方法。
基于GAN的双向残差学习
在本文提出了一种双向残差学习方法，该方法既可以用于雾霾去除，也可以用于雾霾重建。该方法通过双向获取残差特征，并将两种不同的算术运算应用于残差学习 ，假设获得无雾图像的残差特征与获得雾天图像的残差特征相同。
对于双向残差学习，本文定义了两个方向，即去雾通过G: X−> Y，雾霾重建通过F: Y−> X。X和Y分别是有雾图像和无雾图像。G和F分别是雾消除和雾生成通道的发生器网络。R(x)和R(x) '分别是雾霾去除和雾霾重建通道的残差特征。那么，消雾通道的对抗性损失函数为:
其中D(·)为鉴别器网络。对于稳定训练，使用WGAN-GP和谱归一化，同时使用内容损失函数，通过l2范数度量两幅图像在特征级上的差异，如下所示:
其中φ为VGG网络的第51层，比感知损失更深一层。特征图有很多信息，在某些情况下会导致学习缓慢。因此，使用具有显著特征的较深层，得到高层次特征图上的内容损失。同时，该式子中的内容损失通过施加比像素级损失更强大的约束来防止产生模糊图像。
对于空间平滑度，总变异损失函数定义如下:
其中，△x和△y分别表示x和y方向上的梯度。下面的函数计算了生成器的输出和地面真值之间的L1损耗 ：
因为传统的L2损耗函数会导致图像模糊，而式中的L1损耗函数可以产生更清晰的图像。在通过最后的tanh层之前，去雾通道网络应用逐元素减法，而雾霾重建通道网络应用逐元素求和。
所提出的双向残差学习的总损失函数定义如下:
其中，SSIM损失函数[使估计图像和地面真实的结构相似。使用SSIM丢失，我们的方法可以保留可能被内容和L1丢失函数丢失的局部细节。公式中的λ1、λ2、λ3、λ4、λ5为控制参数，是不同损失函数的平衡权值。这些参数由经验确定，分别固定为50、1、0.05、0.1、0.05。同时，内容物损失与GAN损失的重量比通常设置为100:1。
树形残差块
特征融合技术可以获得更好的训练效果。本文提出了一种树状残差结构，通过将残差块应用于特征提取，可以更准确地保存空间信息。基本树形结构公式如下:
其中Z1和Z2是相邻的特征，具有相同的维数。Wfuse的使用结合了两个特征映射与1 × 1卷积。融合特征Z激活后，与原始特征Z1和Z2的尺寸相同。我们的方法利用残差块提取Z1和Z2等特征，并在每个残差块内部和多个残差块之间形成树形结构。下图为提出的树残差结构。
实验结果
基于真实数据集的雾霾重建图像定量评价
下表包含了在无参考图像质量指标下评估的最先进的去雾方法的数值结果
定量比较与最先进的去雾方法使用无参考图像质量测量在真实世界的图像。红色和蓝色的数字分别表示最好和次最好的结果。
在真实世界图像上的去雾效果比较
合成图像去雾效果比较
