深度学习之激活函数.pdfVIP

. 深度学习激活函数 1. 简述 在神经元的数学模型中，轴突所携带的信号 (例如： x0)通过突触进行传递， 由于突触的强弱不一，假设我们以 w0 表示，那么我们传到下一个神经元的树突 处的信号就变成了 w0x0 。其中突触强弱 (参数 w)是可学的，它控制了一个神经 元对另一个神经元影响的大小和方向（正负） 。然后树突接收到信号后传递到神 经元内部 (cell body)，与其他树突传递过来的信号一起进行加和，如果这个和的 值大于某一个固定的阈值的话，神经元就会被激活，然后传递冲激信号给树突。 在数学模型中我们假设传递冲激信号的时间长短并不重要， 只有神经元被激活的 频率用于传递信息。我们将是否激活神经元的函数称为激活函数 (activation function