神经网络激活函数.docVIP

. . 激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。 S形函数?( Sigmoid Function ) 该函数的导函数： 双极S形函数 该函数的导函数： S形函数与双极S形函数的图像如下： 双极S形函数与S形函数主要区别在于函数的值域，双极S形函数值域是(-1,1)，而S形函数值域是(0,1)。 　　由于S形函数与双极S形函数都是可导的(导函数是连续函数)，因此适合用在BP神经网络中。（BP \o 算法与数据结构知识库 算法要求激活函数可导） 双曲正切函数 该函数的导函数： ReLu(Rectified?Linear?Units)函数 ReLU: g(x)=max(0,x) 该函数的导函数： g(x)=0或1 RELU取代sigmoid 和tanh函数的原因是在求解梯度下降时RELU的速度更快，在大数集下会节省训练的时间 在这里指出sigmoid和tanh是饱和非线性函数，而RELU是非饱和非线性函数。 PRELU激活函数 PReLU(Parametric Rectified Linear Unit), 顾名思义：带参数的ReLU。二者的定义和区别如下图：? 如果ai=0，那么PReLU退化为ReLU；如果ai是一个很小的固定值(如ai=0.01)，则PReLU退化为Leaky ReLU(LReLU)。 有实验证明，与ReLU相比，LReLU对最终的结果几乎