激活函数：
-
意义：增加网络的非线性建模能力，如果没有激活函数，那么该网络仅能够表达线性映射，即便有再多的隐藏层，其整个网络跟单层神经网络也是等价
-
需要具备的特点：1.连续可导。2，尽可能简单，提高网络计算效率。3，值域在合适区间内，否则影响训练效率和稳定性。
-
饱和激活函数：Sigmoid、Tanh。非饱和激活函数：ReLu。还有输出层(分类器)的softmax
-
激活函数的选择：在隐藏层ReLu>Tanh>Sigmoid 。RNN中：Tanh，Sigmoid。输出层：softmax（分类任务）。出现神经元死亡，可以用PRelu。
