深度学习领域最常用的激活函数详解总结(数学原理+优缺点).docxVIP

1 深度学习领域最常用的激活函数详解总结 (数学原理+优缺点) Sukanya Bag 激活函数是神经网络模型重要的组成部份，本文作者 Sukanya Bag 从激活函数的数学原理出发，详解了十种激活 函数的优缺点。 激活函数( Activation Function )是一种添加到人工 神经网络中的函数，旨在匡助网络学习数据中的复杂模式。 类似于人类大脑中基于神经元的模型，激活函数最终决定了 要发射给下一个神经元的内容。 在人工神经网络中，一个节点的激活函数定义了该节点 在给定的输入或者输入集合下的输出。标准的计算机芯片电路 可以看做是根据输入得到开( 1 )或者关( 0 )输出的数字电路 激活函数。因此，激活函数是确定神经网络输出的数学方程 式，本文概述了深度学习中常见的十种激活函数及其优缺 点。 首先我们来了解一下人工神经元的工作原理，大致如 下： 2 上述过程的数学可视化过程如下图所示： 1. Sigmoid 激活函数 3 Sigmoid 函数的图象看起来像一个 S 形曲线。 函数表达式如下： 在什么情况下适合使用 Sigmoid 激活函数呢？ Sigmoid 函数的输出范围是 0 到 1。由于输 出值限定在 0 到 1，因此它对每一个神经元的输出进行了 归一化； 用于将预测概率作为输出的模型。由于概率的 取值范围是 0 到 1，因此 Sigmoid 函数非常合适； 梯度平