多层前向网络（BP网络）的应用.pdfVIP

多屡前向网络 BP网络 ．的应用 曹 鑫 (贵阳永青仪 电科技有限公司) 摘 要：本文主要通过 (BP网络)技术来描述神经网络在各领域中的广泛应用，并结合基于梯度的优化技术的最陡下降法和牛顿法来实现在领域中起 到 的重要作用 。 关键词：神经网络；BP算法；基于梯度的优化算法；最陡下降法；牛顿法 lBP网络的概念 似 ： 所谓神经网络系统是指利用工程技术手段模拟人脑神经网络的结 E(0)一E(O +gT(0—0，+1／2(0—0 )TH(0一o7 (3) 构和功能的一种技术系统，它是一种大规模并行的非线性动力学系统。 其中：H为海森矩阵(Hessian)，由E(0)的二次偏导数构成 。上式是 E 严格地讲神经网络应该成为人工神经网络，为了简化起见，一般省略人 (O)的泰勒级数展开扩展至二次项。假设 lO『—e—ll足够小，高次项可以 工==字直接称神经网络，可简记为 NN(NeuralNetw0rks)。由于神经网络 忽略不计 。 具有信息的分布存储、并行处理以及 自学习能力等优点，所以它在信息 由于上式是 0的二次函数，我们可以简单的对上式求导，并令它为 处理、模式识别、智能控制等领域有着广泛的应用前景。 零，求出最小点0作为结果。这产生了一组线性方程： BP神经网络是 目前神经网络理论发展最完善、应用最为广泛的网 O=g+H(e—e (4) 络。其采用误差反传的特性解决了隐层引入以后的学习问题。其实质是 如果H的逆阵存在，则有唯一解。如果以近似二次函数的极小点0 采用梯度下降法使权值的改变总是朝着误差变小的方向改进，最终达到 作为下一点 0 则有所谓的牛顿法或牛顿一拉夫逊法 (Raphson)： 最小误差。由于它采用非线性规划中的最速下降法，因而存在极易陷入 0=0一一H—lg (5) 局部极小 的缺 陷。 称一H—lg为牛顿步，其方 向为牛顿方 向。当G=一H一1，T1=1时： 基于梯度 的优化算法可以用于优化非线性的神经一模糊模型，它能 e =0一一11Gg (6) 按照 目标函数的导数信息确定搜索方向，从而保证这种模型在软计算框 上式中适用的梯度法公式就退化为牛顿法。如果H正定，E(0)是二 架中起到显著的作用。其中，最陡下降法、牛顿法和共轭梯度法与误差反 次函数，则牛顿法可以在一个牛顿步内直接到达局部极小点。如果E(e) 传过程相结合，适用于神经元网络学习的主要算法。 不是二次函数，则可能不能一步到达极小点，需要重复应用牛顿法，此 2介绍基于梯度的优化技术的基本类型最陡下降法 时，牛顿法根据 (3)式定义的二阶舍尾泰勒级数，接近极小点。 牛顿法的主要不足是计算海森矩阵的逆需要耗费很大的计算量。而 最陡下降法，也称为梯度法，是对定义在多维输入空间上的一个给 且由于舍入误差有时会引发数值问题。 定函数极小化的最古老的技术之一。该方法适用于优化有约束和无约束 问题的许多直接方法的基础 。此外，由于其简便易行，尽管收敛速度很 3BP网络的应用 慢，它也是最常使用的非线性优化技术。