二次自适应调整学习参数改进型BP算法研究.docVIP

二次自适应调整学习参数的改进型BP算法研究 　　[摘要]提出一个二次自适应调整学习参数的改进型BP算法入侵检测方法，解决传统的BP算法的收敛速度慢、精度不高等缺陷。该方法较为圆满地解决入侵检测系统所需要的实时性、适应性、可用性、可靠性和准确性等方面的要求，为入侵检测提供一个新的研究手段与方法。 　　[关键词]神经网络 BP算法 入侵检测 　　中图分类号：TP3 文献标识码：A 文章编号：1671-7597（2009）0110118-02 　　 　　一、概述 　　 　　神经网络[1]技术在入侵检测中研究的时间较长，并在不断发展。早期的研究通过训练向后传播神经网络来识别已知的网络入侵，进一步研究识别未知的网络入侵行为。今天的神经网络技术已经具备相当强的攻击模式分析能力，它能够较好地处理带噪声的数据，而且分析速度很快，可以用于实时分析。现在提出了各种其它神经网络架构诸如自组织特征映射网络等，以期克服后向传播网络的若干限制性缺陷[2] 　　由于在神经网络中引入了隐层神经元，神经网络就具有更好的分类和记忆能力。1986年Rumelhart等提出的误差反向传播EBP（Error Back Propaga 　　tion）算法，简称BP算法，系统地解决了多层神经元网络中隐层连接权的学习问题，并在数学上给出了完整的推导。由于BP网络克服了简单感知器不能解决的异或（XOR）和其他一些问题，所以BP模型已成为神经网络的重要模型之一，并得以广泛使用。 　　采用BP算法的多层神经网络模型一般称为BP网络，多层前馈BP神经网络的拓扑结构如图1所示，它由输入层、中间层和输出层组成，中间层（隐层）可以是一层或多层[6]。 　　 　　BP网络中采用了有一定阀值特性的连续可微的Sigmoid函数[3]（简称为S型函数）作为神经元的激发函数。S型函数及其导数如下所示： 　　 　　网络的输入数据从输入层依次经过各隐层节点，然后到达输出层节点，从而得到输出数据。可以把BP神经网络看成是一个从输入到输出高度非线性映射，即。 　　将神经网络应用于模式识别问题包含两个不同的阶段：第一个阶段或称为学习阶段，即网络训练阶段，调整神经网络权值以表现问题域；第二个阶段或称为工作阶段，权值固定不变，把实际数据或实验数据输入到神经网络，网络能对其进行模式分类。 　　具有自学习能力是神经网络的最重要特征之一，也是利用它来解决实际问题的最重要依据之一。BP神经网络通过对样本进行学习，调整BP神经网络中的连接权值，就可以实现非线性分类等问题。 　　到目前为止，研究人员对BP算法进行了持续的研究，已经有的算法如基本的BP算法；附加动量项的BP算法；学习率与动量因子自适应调整的BP算法等[3][4][5]，本文拟在研究基本的BP算法基础上，提出一种二次自适应调整学习参数的改进型BP算法，以期提高算法的收敛速度和精度。 　　 　　二、BP算法的数学描述 　　 　　基本BP算法的描述如下： 　　（一）输入N个学习实例。 　　 　　（三）输入允许误差ε 和学习率η ，初始化迭代计算次数t=1，学习实例号k=1。 　　（四）取第K个学习实例。 　　 　　（五）由进行正向传播计算。 　　计算输入层各节点的输出为： 　　 　　逐层计算各层节点的输入和输出为： 　　 　　（六）计算输出层（第L层）的各输出节点误差为： 　　 　　（七）若对N个学习实例的任一个实例K值 ，则学习过程结束；否则，进行误差反向传播修改连接权矩阵。 　　（八）误差反向传播计算。 　　修改第L-1层隐层至输出层（第L层）的连接权矩阵： 　　 　　反向逐层修改连接各隐层的连接权矩阵： 　　 　　（9）k=k+1（mod N），t=t+1 ，转步骤（4） 　　 　　三、BP算法存在的缺陷 　　 　　BP学习算法具有理论依据充分、推导过程严谨、物理概念清晰及通用性好等优点，使它至今仍然是多层前向神经网络的最主要的学习算法。但是BP算法也存在一些不足之处主要体现在以下几个方面： 　　1.学习算法的收敛速度慢；2.易陷于局部极小值；3.要求所有的学习实例 的输入 提供的特征数目n相同。当有新的学习实例加入时，将会影响对原有实例集的学习效果，或者说将修改网络的权值分布。 　　 　　四、改进的BP算法 　　 　　在基本的BP算法及许多改进型的BP算法中，学习过程所采用的控制方法一般有以下几种：一是设定一个固定的允许均方误差ε，在学习过程中，当网络的输出均方误差小于ε时，则学习结束；否则，继续学习。二是设定学习次数T，当完成T次学习后，学习结束。三是既设定允许均方误差ε，又设定学习次数T，只要有一个满足条件，即完成学习。 　　这三种方法都存在各自的缺陷