BP神经网络及其在数据分类中的应用.docVIP

BP神经网络及其在数据分类中的应用 BP神经网络及其在数据分类中的应用 李穗丰陈燕清 (1.广东财经职业学院,广东广州510420; 2.广东省电信有限公司研究院,广东广州510630) 发 [摘要]BP神经网络模型是一种典型的前向型神经网络,具有良好的自学习,自适应,联想记忆, 并行处理和非线形转换的能力,是目前应用最为广泛的一种神经网络模型.本文介绍了BP神经网络的实 现以及其在数据挖掘分类方面的应用. [关键词]人工神经网络;BP神经网络;数据分类 1.引言 人工神经网络是由大量简单的基本元件—— 神经元相互联结,模拟人的大脑神经处理信息的 方式,进行信息并行处理和非线形转换的复杂网 络系统.人工神经网络处理信息是通过信息样本 对神经网络的训练,它反映了人脑功能的许多基 本特性,但它并不是人脑全部的真实写照,而只 是对其作某种简化,抽象和模拟,使其具有人的 大脑的记忆,辨识能力,完成各种信息处理功 能.具有良好的自学习,自适应,联想记忆,并 行处理和非线形转换的能力.几十年来,随着在 此领域研究的不断深入,人工神经网络已经成功 地应用于众多领域,如数据挖掘,模式识别,图 象处理,智能控制,虚拟现实,优化计算等.迄 今为止,人们已提出30多种较为成功的人工神 经网络模型.这些模型大致可以分为三类:前向 网络MLP(MultipleLayerPerception),反馈网络 (Hopfield网络,Bolzman机)和自组织神经网络 (ART.CPN). 2.BP神经网络分析 2.1BP算法 BP神经网络模型是典型的多层前向网络, 分为输入层,隐含层和输出层,层与层之间采 用全互连方式,层内神经元之间无连接,其模 型结构如图1所示. 输入量x,输出量Y 输入层 图1BP网络结构图 输出层 BP算法通过迭代地处理一组训练样本,将 各样本的网络预测与实际已知类标号比较来进 行学习.对于各样本反向修改其权值,使得网 , 作者简介:李穗丰,男,江西大余人,理学士,广东财经职业学院信息管理系助教,研究方向:人工智能, 多媒体. 一 13— 应 络预测与实际类之间的误差平方最小.BP算法 按照最优训练准则反复迭代,确定并不断调整 神经网络结构,通过迭代修改,当权值收敛时 学习过程终止. 其网络模型的实现过程是由两部分组成: 信息的正向传递与误差的反向传播.在正向传 播过程中,输入信息从输入经隐含层逐层计算 传向输出层,每一层神经元的状态只影响下一 层神经元的状态.如果在输出层没有得到期望 的输出,则计算输出层的误差变化值,然后转 向反向传播,通过网络将误差信号沿原来的连 接通路反传回来修改各层神经元的权值直至达 到期望目标. 由图1,假设输入层输入神经元为(x1, X2,…Xn)隐层神经元为(z1,Z2,…zn), 输出层输出神经元(Y1,Y2,…Yn)设W为 输入层与隐层的权值,B为隐层与输出层的连 接权值.这样则: F(X1,X2,…Xn)=(Y1,Y2,…Yn)(1) Yk=g(∑Zjfljk)(2)』=1 = ∑XilFj+rj)(3) 其中f和g通常选择logistic函数: 1 )=■(4) l十e 在训练过程开始前,所有的权值将被初始 化为一个随机自勺_较小值.在网络的训练过程中, 选择输入向量,网络前传时,依次计算各层单 元的输出和最外层单元的输出,计算网络输出 和期望输出的误差,先调整输出层与第二层的 权值,再调整第二层与输入层的误差,以降低 误差值,重复这一过程直到对于每一个输入都 能得到一个较小的误差. 假设隐层j的神经元P和输出层k的神经元 q,则误差由下式给出: 6=O(1一O)(t—O)(5) 其中O为k层的神经元输出,t为k层的期望输 出.由此得到各层的权值迭代式: Aw=7/*6 qk * 0(6) W胛(n+1)=W阳(irt)+Aw(7) 一 14一 tr7为训练系数,其取值范围为0.1到1.0,W(n)是 神经元P到神经元q在时刻n的连接权值,6 是输出层神经元q的误差,O.,是隐层j神经元P 的输出. 为了获得满意的网络输出,BP算法通过回 传输出的误差,调节各层间的权值.公式(6) 和(7)适用于包括输入层和隐层,隐层和输出 层的各层.但对于输入层和隐层,由于期望输 出t并不存在,当求取误差6时,它的值不能由 公式(5)直接得到,而是由下面的表达式 代替: 6=(1一Opj)(∑6qk*Wpqlk)(8) 3.使用BP神经网络进行数据分类 3.1使用BP神经网络进行数据分类的 过程 使用BP神经网络进行数据分类,是采用 BP算法将训练样本的各属性值作为输入,把实 际类作为输出.对训练后的BP网络,通过剪枝 和对链,神经元或活跃值的聚类处理,导出输 入层和输出层的关联规则,根据这些规则即可 实现具