各种激活函数比较.docxVIP

神经网络之激活函数(Activation Function) 激活函数,比如:sigmoid、ReLU等等。 为什么需要激活函数？ 激活函数都有哪些？都长什么样？有哪些优缺点？ 怎么选用激活函数？ impulses carriedWo9 synapse axon from a neuron impulses carried Wo 9 synapse axon from a neuron WqXq A cartoon drawing of a biological neuron (left) and its mathematical model (right). Why use activation functions? 激活函数通常有如下一些性质： ?非线性：当激活函数是线性的时候，一个两层的神经网络就可以逼近基本上所有的函数了。但是，如 果激活函数是恒等激活函数的时候(即/(a)=z),就不满足这个性质了，而且如果MLP使用的是恒等 激活函数，那么其实整个网络跟单层神经网络是等价的。 ?可微性：当优化方法是基于梯度的时候，这个性质是必须的。 ?单调性：当激活函数是单调的时候，单层网络能够保证是凸函数。 ? 心):当激活函数满足这个性质的时候，如果参数的初始化是random的很小的值，那么神经网络的 训练将会很高效；如果不满足这个性质，那么就需要很用心的去设置初始值。 ?输出值的范围：当激活函数输出值是有限的时候，基于梯度的优化方法会更加稳定，因为特征的表 示受有限权值的影响更显著；当激活函数的输出是无限的时候，模型的训练会更加高效，不过在这种 情况小，一般需要更小的learning rate. 这些性质，也正是我们使用激活函数的原因！ Activation Functions. Sigmoid Left: Sigmoid non-linearily squashes real numbers to range between [0,1] Right: The tanh non? linearity squashes real numbers to range between [-1,1]. 新。 ? 函数输出不是以0为中心的。这是不可取的，因为这会导致后一层的神经元将得到上一层输出的非0 均值的信号作为输入。我们更偏向于当激活函数的输入是0时，输出也是0的函数。 产生的一个结果就是：如果数据进入神经元的时候是正的（e.g. x0 elementwise in f^wTx+b）,那 么计算出的梯度也会始终都是正的。 当然了，如果你是按batch去训练，那么那个batch可能得到不同的信号，所以这个问题还是可以缓 解一下的。因此，非0均值这个问题虽然会产生一些不好的影响，不过跟上面提到的kill gradients问 题相比还是要好很多的。 tanh tanh是上图中的右图，可以看出，tanh跟sigmoid还是很像的，实际上，tanh是sigmoid的变形： tan h（炉 2sigmoid（^-* 与sigmoid不同的是,tanh是0均值的。因此，实际应用中，tanh会比sigmoid更好（毕竟去粗取精了嘛\ tanh函数将一个实数输入映射到卜1,1］范围内，如上图（右）所示。当输入为0时，tanh函数输出为0 ,符合 我们对激活函数的要求。然而，tanh函数也存在梯度饱和问题，导致训练效率低下。 CMS9ew Fsel10 1? 20 26 0 M 40Epochs CMS 9ew Fsel 10 1? 20 26 0 M 40 Epochs Left: Rectified Linear Unit (ReLU) activation function, which is zero when x 0 and then linear with slope 1 when x 0? Right: A plot from Krizhevsky et al. (pdf) paper indicating the 6x improvement! in con vergence with the ReLU unit compared to the tanh unit. 心）二/77輕0乂 很显然，从图左可以看出，输入信号vO时，输出都是0 , 0的情况下，输出等于输入。是二维的情况下， 使用ReLU之后的效果如下： \\\r +6 金 H 相比sigmoid和tanh函数，Relu激活函数的优点在于: ?梯度不饱和。梯度计算公式为：l{x0}。因此在反向传播过程屮，减轻了梯度弥散的问题，神经 网络前几层的参数也可以很快的更新。 ? 计算速度快。正向传播过程中，sigmoid和tanh函数计算激活值时需要计算指数，而Relu函数仅