模式识别学习论文概论.docVIP

人工神经网络几种算法的学习和总结 学号：120070707 姓名：王子鉴 人工神经网络就是尝试模拟生物学上的体系结构及其操作。神经网络Hebb算法，σ训练算法等，在神经网络的发展进程中，人们仍一直在以生物学习训练的模式作为目标，继续探索新的算法。 学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法．而有的算法可能可用于多种模型。不过，有时人们也称算法为模型。自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(error BackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。 BP算法BP算法是用于前馈多层网络的学习算法，前馈多层网络的结构一般如图所示 它含有输人层、输出层以及处于输入输出层之间的中间层。中间层有单层或多层，由于它们和外界没有直接的联系，故也称为隐层。在隐层中的神经元也称隐单元。隐层虽然和外界不连接．但是，它们的状态则影响输入输出之间的关系。这也是说，改变隐层的权系数，可以改变整个多层神经网络的性能。设有一个m层的神经网络，并在输入层加有样本X；设第k层的i神经元的输入总和表示为Uik，输出Xik；从第k—1层的第j个神经元到第k层的第i个神经元的权系数为Wij各个神经元的激发函数为f，则各个变量的关系可用下面有关数学式表示： Xik=f(Uik)? 反向传播算法分二步进行，即正向传播和反向传播。这两个过程的工作简述如下。1．正向传播 输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。2．反向传播 反向传播时，把误差信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋向最小。BP算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。在反向传播算法应用于前馈多层网络时，采用Sigmoid为激发面数时，可用下列步骤对网络的权系数Wij进行递归求取。注意对于每层有n个神经元的时候，即有i＝1，2，…，n；j＝1，2，…，n。对于第k层的第i个神经元，则有n个权系数Wi1，Wi2，…，Win，另外取多—个Win+1用于表示阀值；并且在输入样本X时，取x＝(X1，X2，…，Xn，1)。算法的执行的步骤如下：1．对权系数Wij置初值。对各层的权系数Wij置一个较小的非零随机数，但其中Wi,n+1=-。2．输入一个样本X＝(xl，x2，…，xn，1)，以及对应期望输出Y＝(Y1，Y2，…，Yn)。3．计算各层的输出 对于第k层第i个神经元的输出Xik，有： Xik=f(Uik) 4．求各层的学习误差dik 对于输出层有k＝m，有dim=Xim(1-Xim)(Xim-Yi)对于其他各层，有 5．修正权系数Wij和阀值时有： 其中： 6．当求出了各层各个权系数之后，可按给定品质指标判别是否满足要求。如果满足要求，则算法结束；如果未满足要求，则返回(3)执行。 这个学习过程，对于任一给定的样本Xp＝(Xp1，Xp2，…Xpn，1)和期望输出Yp=(Yp1，Yp2，…，Ypn)都要执行，直到满足所有输入输出要求为止。 Hopfield模型Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。Hopfield网络有离散型和连续型两种。反馈神经网络由于其输出端有反馈到其输入端；所以，Hopfield网络在输入的激励下，会产生不断的状态变化。当有输入之后，可以求取出Hopfield的输出，这个输出反馈到输入从而产生新的输出，这个反馈过程一直进行下去。如果Hopfield网络是一个能收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，一旦到达了稳定平衡状态；那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。应该指出：反馈网络有稳定的，也有不稳定的。对于Hopfield网络来说，还存在如何判别它是稳定网络，亦或是不稳定的问题；而判别依据是什么，也是需要确定的。 Hopfield最早提出的网络是二值神经网络，神经元的输出只取1和0这两个值，所以，也称离散Hopfield神经网络。在离散HopfieId网络中，所采用的神经元是二值神经元；故而，所输出的