sigmoid

在这里插入图片描述

ReLU

在这里插入图片描述

sigoid和ReLU对比

1.sigmoid有梯度消失问题：当sigmoid的输出非常接近0或者1时，区域的梯度几乎为0，而ReLU在正区间的梯度总为1。如果Sigmoid没有正确初始化，它可能在正区间得到几乎为0的梯度。使模型无法有效训练。

2.sigmoid需要复杂的求幂运算。

相关推荐
花海书香
 Matlab绘制激活函数sigmoid，Relu
花海书香 134 0 0
七千22
 激活函数(sigmoid、tanh、ReLU、softmax)
七千22 144 0 0
Python百事通
 神经网络之Sigmoid、Tanh、ReLU、LeakyReLU、Softmax激活函数
Python百事通 111 0 0
洲行
 ReLU激活函数
洲行 15 0 0
一只1994
 深度学习06: 常用激活函数总结(sigmod,tanh,Relu等)
一只1994 103 0 0
凉夜lrs
 [Pytorch 常用函数] 激活函数Relu, Leaky Relu
凉夜lrs 174 0 0
胡桑_b06e
 为什么要使用sigmoid，tanh，ReLU等非线性函数？
胡桑_b06e 63 0 0
水墨_青花
 激活函数Sigmoid求导
水墨_青花 119 0 0
我是小小懒
 深度学习基础入门篇[四]：激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
我是小小懒 106 0 0
吓死我了_1799
 深度学习之激活函数——Sigmoid
吓死我了_1799 14 0 0

精彩评论（0）