人工智能 神经网络 第二章--从神经网络到深度学习.pptVIP

三、多层感知机 反向传播算法的出现，带来了新一轮的研究热潮，已经可以应用于语音识别，图像识别等领域内。但是神经网络仍然存在若干的问题：尽管使用了反向传播算法，一次神经网络的训练仍然耗时太久，而且困扰训练优化的一个问题就是局部最优解问题，这使得神经网络的优化较为困难。下图就是一个陷入局部最优解的局面，圆圈代表你所处的位置，而菱形代表你的真实目的地。现在的你，是不是觉得自己已经在最低点了呢，实际上这个点被称为极值点，但并非最值点。这一问题使得神经网络的训练变难，我们的学习过程一旦陷入了局部最优解就很难跳出来。 图2.9 局部最优解和全局最优解 三、多层感知机 除了我们上述所讲的部分外，神经网络还有很多改进和变化。比如之前提到的反向传播算法，误差从输出层反向传播时会乘以sigmoid函数的导数，而该导数的最大值才只有0.25。这就会出现梯度弥散问题，即误差经过每一层传递都会不断衰减。当网络层数很深时，误差值会逐渐消失，无论怎么训练，最初几层的网络权重都不会有变化。为此，我们可以将激活函数由sigmoid改为线性修正单元函数(Rectified linear unit)。为应对局部极小值，也可以在反向传播的过程中使用随机梯度下降(Stochastic gradient descent)或者加入动量项，以跳出局部极值点。 在反向传播算法诞生的同一时期，一种名为支持向量机(S