经典DL论文研读(part2)--Deep Sparse Rectifier Neural Networks

学习笔记，仅供参考，有错必纠

文章目录

• ​​Deep Sparse Rectifier Neural Networks​​

• ​​Abstract​​
• ​​Introduction​​
• ​​Background​​
• ​​Deep Rectifier Networks​​
• ​​Experimental Study​​

• ​​Image Recognition​​
• ​​实验结果​​
• ​​稀疏性实验结果​​
• ​​半监督与监督学习​​

• ​​Conclusion​​

Deep Sparse Rectifier Neural Networks

Abstract

本文提出一种RELU激活函数，该激活函数可以激发稀疏性，可以获得与双曲正切函数(Tanh)等同,甚至更好的效果.

Introduction

计算神经模型和机器学习中的神经网络具有一定的差异. 这种差异可以被RELU激活函数消除.

Background

The main gaps that we wish to consider between computational neuroscience models and machine learning models are the following:

• 大脑中神经元只有少部分(1%-4%)处于工作状态，也就是有稀疏性。 如果不使用L1正则化，则神经网络很难达到稀疏的状态。
• 一种常见的生物学模型 leaky integrate-and-fire(LIF)如下所示
  
  输入电流与 firing rate的关系图如下所示，可以看到，当电流较小时，firing rate一直为0；当输入电流达到一定程度时，firing rate的值才大于0；随着电流越大，firing rate逐渐增长，但是增长速率也在逐渐降低.

Deep Rectifier Networks

本文提出一种RELU激活函数，当输入信号到达阈值时，该激活函数才会非0. 下图中的右图为RELU激活函数图，左图为应用了RELU激活函数的神经网络结构，可以看到当使用RELU激活函数时，部分神经元的输出为0，则此时神经网络具有系数性…

Experimental Study

Image Recognition

实验结果

实验中，在4个数据集上使用3个激活函数，并分别采用使用无监督预训练(受限玻尔兹曼机：Restricted Boltzmann machines)和不使用无监督预训练的方式进行实验. 由结果可知，利用RBF对模型进行预训练对基于RELU激活函数的神经网络影响不大. 同时，使用RELU激活函数，可以得到与使用Tanh匹敌，甚至更好的结果.

稀疏性实验结果

下图中，横坐标为稀疏度，纵坐标为错误率. 可以看出当系数率在[75%, 85%]的范围内，错误率较低，但是随着稀疏度的增高，错误率逐渐上升.

半监督与监督学习

针对RELU激活函数来说，在半监督情况下，预训练会得到很好的模型性能提升效果. 但是随着标签数量的上升(监督学习)，是否对模型进行预训练的效果将没有显著区别.

Conclusion

RELU激活函数可以在不使用预训练的情况下，提高模型的性能，以获得更好的结果.

在人工神经网络中，稀疏性在[50%, 80%]的范围会得到较好的结果. 但是生物神经网络中，稀疏性可达到[95%, 99%].