(利用matlab仿真的BP-ANN分类器设计.docVIP

BP-ANN分类器设计 1.引言 从深层意义上看，模式识别和人工智能本质都是在解决如何让用机器模拟人脑认知的过程。一方面，从需要实现的功能出发，我们可以将目标分解为子功能，采用自定而下的的分解法实现我们需要的拟合算法。而另一方面，无论人脑多么复杂，人类的认知过程都可以认为若干个神经元组成的神经网络在一定机制下经由复杂映射产生的结果。从神经元的基本功能出发，采用自下而上的设计方法，从简单到复杂，也是实现拟合算法的一条高效途径。 1.1什么是人工神经网络 人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。BP算法包括两个方面：信号的前向传播和误差的反向传播。即计算实际输出时按从输入到输出的方向进行，而权值和阈值的修正从输出到输入的方向进行。 图-1 BP网络结构 图中：表示输入层第个节点的输入，j=1,…,M； 表示隐含层第i个节点到输入层第j个节点之间的权值； 表示隐含层第i个节点的阈值； 表示隐含层的激励函数； 表示输出层第个节点到隐含层第i个节点之间的权值，i=1,…,q； 表示输出层第k个节点的阈值,k=1,…,L； 表示输出层的激励函数； 表示输出层第个节点的输出。 （1）信号的前向传播过程 隐含层第i个节点的输入neti： （2-1） 隐含层第i个节点的输出yi： （2-2） 输出层第k个节点的输入netk： （2-2） 输出层第k个节点的输出ok： （2-4） （2）误差的反向传播过程 误差的反向传播，即首先由输出层开始逐层计算各层神经元的输出误差，然后根据误差梯度下降法来调节各层的权值和阈值，使修改后的网络的最终输出能接近期望值。 对于每一个样本p的二次型误差准则函数为Ep： （2-5） 系统对P个训练样本的总误差准则函数为： （2-6） 根据误差梯度下降法依次修正输出层权值的修正量Δwki，输出层阈值的修正量Δak，隐含层权值的修正量Δwij，隐含层阈值的修正量。 ；；； （2-7） 输出层权值调整公式： （2-8） 输出层阈值调整公式： （2-9） 隐含层权值调整公式： （2-10） 隐含层阈值调整公式： （2-11） 又因为： （2-12） ，，， （2-12） （2-14） （2-15） （2-16） 所以最后得到以下公式： （2-17） （2-18） （2-19） （2-20） .1附加动量法 附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的作用有可能滑过这些极小值。 该方法是在反向传播法的基础上在每一个权值（或阈值）的变化上加上一项正比于前次权值（或阈值）变化量的值，并根据反向传播法来产生新的权值（或阈值）变化。 带有附加动量因子的权值和阈值调节公式为： 其中k为训练次数，mc为动量因子，一般取0.95左右。 附加动量法的实质是将最后一次权值（或阈值）变化的影响，通过一个动量因子来传递。当动量因子取值为零时，权值（或阈值）的变化仅是根据梯度下降法产生；当动量因子取值为1时，新的权值（或阈值）变化则是设置为最后一次权值（或阈值）的变化，而依梯度法产生的变化部分则被忽略掉了。以此方式，当增加了动量项后，促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时， ?i将变得很小，于是,从而防止了的出现，有助于使网络从误差曲面的局部极小值中跳出。 根据附加动量法的设计原则，当修