人工神经网络BP算法简述讲述.docx

人工神经网络BP算法的改进及其应用摘　要:对传统的BP算法进行了改进,提出了BP神经网络动态全参数自调整学习算法,又将其编制成计算机程序,使得隐层节点和学习速率的选取全部动态实现,减少了人为因素的干预,改善了学习速率和网络的适应能力。计算结果表明:BP神经网络动态全参数自调整算法较传统的方法优越,训练后的神经网络模型不仅能准确地拟合训练值,而且能较精确地预测未来趋势。关键词:人工神经网络;BP算法;自调整;自组织方法近年来,国际上掀起了一股人工神经网络研究、开发应用的热潮。人工神经网络的理论的应用已渗透到各个领域,并在智能控制、模式识别、计算机视觉、自适应滤波和信号处理、非线性优化、自动目标识别、生物医学工程等方面取得了显著成效。BP神经网络模型是人工神经网络的重要模型之一。通常,BP算法是通过一些学习规则来调整神经元之间的连接权值,在学习过程中,学习规则以及网络的拓扑结构不变。然而,一个神经网络的信息处理功能不仅取决于神经元之间的连接强度,而且与网络的拓扑结构(神经元的连接方式)、神经元的输入输出特性和神经元的阀值有关。因而,神经网络模型要加强自身的适应和学习能力,应该知道如何合理地自组织网络的拓扑结构,改变神经元的激活特性以及在必要时调整网络的学习参数等。本文基于此,在前人研究的基础上,对传统的BP算法进行了改进,提出了BP神经网络动态全参数自调整学习算法,不仅加快了网络的收敛速度,而且可以优化网络的拓扑结构,从而增强了BP神经网络的适应能力。1　BP人工神经网络模型的构造和评述1.1BP神经网络概言BP神经网络,即误差反向传播神经网络,是神经网络模型中应用最广泛的一种。它由输入层、隐含层和输出层构成。假设BP神经网络每层有N个节点,作用函数为非线性的Sigmoid型函数,一般采用f(x)=1/(1+),学习集包括M个样本模式(,)。对第P个学习样本(P=1,2,...,M),节点j的输总和记为,输出记为,则:=　　　　=f()如果任意设置网络初始权值,那么对每个输入样本P,网络输出与期望输出()间的误差为E=∑=()/2BP网络的权值修正公式为=(t)+=上式中引入学习速率η,是为了加快网络的收敛速度。通常权值修正公式中还需加一个惯性参数a,从而有:=(t)++a((t)(t-1))式中,a为一常数项,它决定上一次的权值对本次权值的影响。其具体算法步骤详见文献[1]。1.2传统BP网络的评述传统BP网络模型把一组样本的输入/输出问题变为一个非线性优化问题,使用了优化中的最普通的梯度下降算法,对问题的识别具有很强的功能,对于复杂的非线性模型仿真从理论上来说其误差可以达到任意小的程度。但它仍然存在一些缺陷:1)传统的BP网络既然是一个非线性优化问题,这就不可避免地存在局部极小问题。网络的极值通过沿局部改善的方向一小步一小步进行修正,力图达到使误差函数E最小化的全局解,但实际上常得到的是局部最优点。2)学习过程中,下降慢,学习速度缓,易出现一个长时间的误差平坦区,即出现平台。3)网络结构选择不一,网络过大,在训练中效率不高,而且还会由于过拟合造成网络性能脆弱,容错性下降,浮点溢出,而太小的网络可能根本不收敛。在实际应用中,网络结构人为性较大,缺乏规则指导。2　BP人工神经网络模型的改进2.1　BP人工神经网络结构的自我调整在BP人工神经网络拓扑结构中,输入节点与输出节点是由问题的本身决定的,关键在于隐层的层数与隐节点的数目。对于隐层的层数,许多学者作了理论上的研究。Lippmann[2]和Cyberko[3]曾指出,有两个隐层,就可以解决任何形式的分类问题;后来Robert Hecht Nielson[5]等人研究进一步指出:只有一个隐层的神经网络,只要隐节点足够多,就可以以任意精度逼近一个非线性函数。相对来说,隐节点数的选取很困难。隐节点少了,学习过程不可能收敛;隐节点多了,网络性能下降,节点冗余。为了找到合适的隐节点数,最好的办法是在网络的学习过程中,根据环境要求,自组织地学习、调整自己的结构,最后得到一个大小合适的神经网络模型。设是隐节点i在学习第p个样本时的输出,隐节点j在学习第p个样本时的输出,N为学习样本总数,则=　　=令=-=-=-=-则两序列与(p=1,…,N)的相关系数为:=显而易见:|≤1.愈接近±1,表示两序列与的线性相关程度愈大,互相回归的离散度愈小;反之,则两序列的线性相关程度愈小,互相回归的离散度愈大。定义1°同层隐节点i和j的相关系数=说明隐节点i和j的相关程度,过大,说明节点i和j功能重复,需要压缩合并。定义2°样本发散度=-过小,说明隐节点i的输出值变化很少,它对网络的训练没有起到什么作用,则可以删除。根据以上定义,提出如下动态合并与删减规则。规则1　若||≥且,≥则同层隐节点i和j可以合二为