BP算法论文神经网络论文.docVIP

BP算法神经网络BP神经网络算法的改进及在入侵检测中的应用 　摘 要：BP算法是神经网络众多算法中应用最为广泛的一种，它在函数逼近、模式识别、分类、数据压缩等领域有着更加广泛的应用。针对BP算法的缺陷，提出了几点改进措施。 　　关键词：BP神经网络；算法改进；入侵检测 　　1 引言 　　据统计有近90%的神经网络应用是基于BP算法的。但它存在学习收敛速度慢、容易陷入局部极小点而无法得到全局最优解、对初始权值的选取很敏感等缺点。针对此问题，目前国内外已有不少人对BP网络进行了大量的研究.本文在众人研究上，针对BP算法的缺陷，提出了几点改进措施。 　　2 改变误差函数 　　由于等效误差分量 δpljk和 δplij的大小和正负的变化对收敛速度存在影响，因为BP网络是误差逆向传播，δpljk和 δplij两者比较，δpljk对收敛速度的影响更大，所以，可选取“信息熵”作为误差函数的定义。 　　Etotal=PPi=1n-1l=0tpll×1Ogplyl+（1-tpll）δpll×1og（1-ypll）（1） 　　其中，δPll=ypll-tpll 　　3 连接权重的选择 　　为避免学习过程中的振荡，Jcaillon等人曾强调限制连接权重的范围，将权重初值限制在［-0.5，0.5］区间内随机选取(一般将连接权重初值限制在［-5，5］，也可加速收敛。 　　4 加入动量项 　　这种措施又称为惯性校正法,其权值调整公式可用下式表示: 　　 Δwij（t）=aΔwij（t-1）+μδi（t）yj等式右端第二项是常规BP算法的修正量,δi（t）称为广义误差,yj为第j层神经元输出。第一项称为动量项,a为动量系数，μ为学习率。这种方法在加速收敛的同时,抑制了振荡。 　　综上,BP算法的改进策略都从不同程度上提高了算法的收敛速度,避免算法陷于局部极值。 　　5 入侵检测实验设计 　　本实验对BackDoS，Buffer_Overflow，Guess_Passwd，Imap，IpsweepProbe5类经常出现的攻击进行基于改进算法和传统算法的对比识别实验，给出实验结果，对结果进行分析。 　　数据采用DARPA1998入侵检测评估数据库作为训练数据和测试数据。数据库包含500万条用于训练的TCP/IP连接记录和200万条用于测试的记录。训练数据带有标记(正常或某种攻击)，按时间先后排序。每条记录含41个特征，分为4类：基本TCP特征，与有效载荷有关的特征，基于时间的流量特征和基于主机的流量特征。 　　取其中20000条包含有以上5类攻击的记录，一半作为训练，另一半作为测试。其中正常连接4625个，攻击连接15375个。 　　6 基于改进算法和传统算法的检测结果比较分析 　　神经网络采用如下结构：输入层的节点数为15个，隐含层的节点数为20个，输出节点数为3个。将改进算法的1n和2n都设置为7，即每次竞争有7个具有最大绝对值输出的神经元激发。 　　初始条件为：学习速率u 为0.15，动量系数 a为0.075，传输函数为f（x）=1/（1+e-x）。初始权值和阈值为［-0.5，0.5］之间的随机数。连接权重初值限制在［-5，5］，误差函数采用公式（1）。 　　7 结论 　　针对传统BP神经网络的缺陷，提出了改进措施。通过入侵检测仿真实验，证实了改进算法的性能优于传统算法。对攻击的识别实验结果表明，改进后的算法不仅能够很好地识别攻击，而且性能优于传统算法。 　　参考文献 　　［1］ Aboelmagd Noureldin，Rashad Sharaf，Ahmed Osman etc.INS/GPS Data Fusion Technique Utilizing Radial Basis Functions Neural Networks ［J］.IEEE，2004：280-284. 　　［2］董长虹.神经网络与应用［M］.北京：国防工业出版社，2005. 　　［3］刘富强.数字视频监控系统开发及应用［M］.北京： 机械工业出版社,2003，（3）.