改进的BP神经网络在数字识别上的应用.doc

文章编号:167121742(20080620648205 改进的BP 神经网络在数字识别上的应用 武志强,　巨　辉,　曹世梅 (成都信息工程学院控制工程研究所,四川成都610225 　　摘要:首先介绍了传统的人工神经网络方法对数字字符的识别,进而在变换函数、误差函数以及惯量项等方面对学习算法进行了改进,提出局部自适应算法———RPROP 算法,使网络具有一定的容错能力,用VC 完成对数字字符识别的模拟。最后实验表明,改进的算法可以有效地完成对训练样本的识别,并且弥补传统方法学习速度低、平均误差大的缺点。 关　键　词:BP 神经网络;模式识别;训练样本中图分类号:TP183　　　　　　文献标识码:A 收稿日期:2008205207;修订日期:2008205226 1　引言 数字字符识别是模式识别领域的一项传统的课题,由于字符识别不是一个孤立的问题,而是模式识别领域中大多数课题都会遇到的基本问题,并且在不同的课题中,由于具体的条件不同,解决的方法也不尽相同,因而数字字符识别的研究仍具有理论和实践意义。它在特定的环境下应用特别广泛,如邮政编码自动识别系统,税表等。 一般情况下,当涉及到数字识别时,人们往往要求识别方法有很高的识别可靠性,特别是有关金额的数字识别时,更是如此。因此解决这类问题的的关键环节就是设计出高可靠性和高识别率的数字识别方法。然而可以说还没有哪种数字识别方法达到完美的识别效果。在过去的数十年中,研究者们提出了许许多多的识别方法。如基于结构特征和基于统计特征的方法,取得了一定的效果。 数字识别是一项极具研究价值的课题,随着神经网络和模糊逻辑技术的发展,人们对这一问题的研究又采用了许多新的方法和手段,也使得这一古老的课题焕发出新的生命力,目前国际上有相当多的学者在研究这一课题,它包括了模式识别领域中所有典型的问题:数据的采集、处理及选择、输入样本表达的选择、模式识别分类器的选择以及用样本集对识别器的有指导的训练。这里讨论的是用BP 神经网络识别数字的问题。人工神经网络模式识别方法是近些年提出的新方法,为数字字符识别研究提供了一种新手段,它具有一些传统技术所没有的优点:良好的容错能力、分类能力强、并行处理能力和自学习能力。因而,采用神经网络识别方式是一种很好的选择。 2　传统的BP 神经网络的学习过程 传统的神经网络中典型的是导师学习,训练集包含M 个样本,对第p 个训练样本,单元的实际输出为O pj ,它的第i 个输入(也即第i 个神经元的输出为O pi ,则: 　u pj =∑N i =0W ji O pi (1 BP 算法中大多选用S 型函数作为输出函数,即:　O pj =f (u pj =1 1+ex p (u pj (2定义网络误差函数为: 　E =∑P E p (3　E p = 1 2∑j (d pj -O pj 2(4 第23卷第6期2008年12月 成　都　信　息　工　程　学　院　学　报 JOURNAL OF CHEN G DU UNIV ERSITY OF INFORMATION TECHNOLO GY Vol.23No.6 Dec.2008 式中,d pj 表示对个训练样本,单元j 的期望输出。训练网络的目的是找到一组权重,使误差函数极小化。利用梯度最速下降法,使权值沿误差函数的负梯度方向改变。若权值的变化量记为,即 　 ΔW ij ∞-9E P 9W ij (5令-9E P 9W ij =δpj ,则:9E P 9W ij =9E P 9u pj 9u pj 9W ij =9E P 9u pj O pj =-δpj O pj (6 　 图1　BP 网络应用过程 得到:ΔW ij =ηδpj O pj ,η0,式中为η学习因子。BP 网络应用过程如图1所示。 3　学习算法的改进 3.1　选用新的变换函数,加速学习速度 由于S 型变换函数的取值范围[0,1],而它的导数取 值范围是[0,0125],当变换函数等于015时,导数取最大值0125,所以权系数的修正能力不大,一类新的变换函数的取值范围是[-1,1],而它们的一阶导数为 　sec h n (x ,n =1,2, (7 3.2　选用新的非线性误差函数 为了改进误差函数对最大可能误差的响应强度,可以选用新的非线性误差函数。如取 　E i =1 2∑j [(t ij -y ij sin h (t ij -y ij -cos h (t ij -y ij ] (8 3.3　加入惯量项 每个权值的修正量加上一项正比于前次权值变化量的值,即: 　Δωpq (k +1=-η9E T 9 ωpq +αΔωpq (k (9其中α是惯量系数,一般取0.9左右。引入惯量项的效果是,在误差函数大范围减小的情况下,加大修正值,在接近局部极小点时,减少修正量,从而可