§6.3反向传播（BP）学习算法.docVIP

§6.3 反向传播(BP)学习算法 前面分析得知，无论是Rosenblatt的感知器学习规则，还是Widrow和Hoff的LMS学习算法，它们只能用来训练单层神经网络。因为对于单层线性神经元网络，误差是网络权值的显式函数，其相对权值的导数容易求得。但是，单层神经网络故有的局限性就是只能解线性可分的分类问题。Rosenblatt和Widrow也意识到了该局限性，并且提出了采用多层神经网络的解决方法。但由于具有非线性作用函数的多层神经网络的权值与误差的关系比较复杂，他们没有找到训练多层神经网络合适的学习算法。 1974年Paul Werboss第一次提出了一个训练多层神经网络的反向传播算法，由于该算法是在一般网络中描述的，它只是将神经网络作为一个特例。因此，在神经网络研究领域内没有得到广泛传播。直到20世纪80年代中期，反向传播(BP—Back Propagation)算法才被重新发现并广泛宣扬。特别是David Rumelhart和James McClelland等学者在《并行分布式处理》一书中给出了训练多层神经网络的BP学习算法，为解决多层神经网络的学习提供了保证。该书的发行也引发了国际上新一轮的神经网络研究热潮。 6.3.1 多层前向神经网络 基于误差反向传播学习算法的前向神经网络也称为BP网络。目前，在神经网络的实际应用中，80％—90％的神经网络是BP网络或它的变化形式。