神经网络作业(袁晓艺).docVIP

《神经网络基础与运用》学习体会 姓名：袁晓懿 学号：0610220527 导师：廖桂生 课程属性：限选课 当前我们学习的《神经网络基础与运用》，可以说是利用人工构造的神经元，经过不同模式的训练，达到模拟生物神经元功能的目的。从1984年单神经元网络被用来稳定电话系统中长距离传输的声音信号以来，神经网络的应用已经覆盖了航空、电子、金融、医疗、电信、交通等各个行业。可以想象，随着神经网络科学研究的逐步深入以及应用领域的不断拓广，神经网络必将产生更加深远的影响。 一、神经网络发展简述 神经网络这一学科领域，最早可以追溯到19世纪末或者20世纪初，这一时期研究对象主要集中于学习、视觉和条件反射等一般理论，并没有涉及有关神经元工作的数学模型。现代神经网络研究的开始是以20世纪40年代，Warren McCulloch和Walter Pitts从原理上证明人工神经网络可以计算任何算术和逻辑函数为标志。60年代，由于缺乏新思想和用于实验的高性能计算机，动摇了人们对神经网络的研究兴趣。到了80年代，随着个人计算机和工作站能力的急剧增强和广泛应用，以及不断引入的新概念，克服了摆在神经网络研究面前的障碍，人们对神经网络的研究热情空前高涨。 二、四种网络模型学习规则 截至目前，我们主要学习了四种网络模型，即：感知机、有监督的Hebb网络、Widrow-Hoff模型和反向传播模型。此外，我们还从一个模式识别问题上，引出了竞争网络（hamming网络）和Hopfield网络。下面，我就各个网络模型的学习规则谈一些体会。 （一）感知机学习规则 1943年，Warren McCulloch和Walter Pitts最早提出了一种人工神经元模型，把神经元输入信号的加权和与其阈值相比较以确定神经元的输出。如果加权和小于阈值，则该神经元的输出值为0；如果加权和大于阈值，则该神经元的输出值为1。但由于没有找到训练这一网络的方法，因此必须设计这些神经元网络的参数以实现特定的功能。上世纪50年代，Frank Rosenblatt等研究人员提出了一种感知机的神经网络，引入了用于训练神经网络解决模式识别问题的学习规则，并证明了只要求解问题的权值存在，那么其学习规则通常会收敛到正确的权值上。但是，感知机网络却存在一定的局限性，其只能解决模式识别中的线性可分问题。正是由于这种局限性，一度导致神经网络的研究工作陷入低潮。 我们知道，对于1－3维输入单层神经元的模式识别问题，可以通过图解法解决。其基本程序为：1、画出判定边界，该判定边界实现了区域划分的目的；2、求解权值矩阵，权值矩阵求解的关键是判定边界总是和权值矩阵相正交，对于同一模式识别问题，判定边界的不同会造成权值矩阵的不同。这一不同，在与当前模式精确匹配时不会产生错误的输出，而在其他模式的判别中可能引起较大的误差（下面将举例说明）。3、求解偏值，偏值b的求解，可以在求解权值矩阵的基础上，将判定边界上任意一点的坐标带入方程WT*P＋b＝0得到,如果我们划定的判定边界通过坐标原点，那么此时的b值可以设定为0。 当3个以上输入神经元网络的判定边界无法用图形方法进行判定时，我们就必须引入一个学习的规则。如果将单神经元感知机和多神经元感知机统一起来，那么这个学习规则可写为WNEW＝WOLD＋epT；BNEW＝BOLD＋e，其中e＝t－a。在学习过程的开始，权值和偏值我们可以任意设定，在输入第一个模式后，将期望输出与感知机的实际输出相减，得到输出误差e。通过e的正负调节权值矩阵和偏值，从而最终实现模式之间的正确分类。 【学习体会】 下面还是举水果区分的例子，说明权值矩阵选取不当，对模式识别问题的影响。例如我们用一个3维向量来表示一个标准的桔子和一个标准的苹果。这个向量的第一个元素表示外形，外形是圆的感知器就输出1，外形是椭圆的就输出－1；第二个元素表示质地，质地是光滑的感知器就输出1，质地粗糙就输出－1；第三个元素表示重量，水果重量超过1磅就输出1，低于1磅就输出－1。在一般情况下，我们都会把p1和p3轴构成的平面作为判定边界，假设苹果（1，1，－1）对应的输出为1，桔子（1，－1，－1）对应的输出为－1，那么权值向量可取（0，1，0），偏值为0，传输函数为Hardlims，就可实现正确分类。然而当权值向量为（－1，1，－1），偏值为0，传输函数为Hardlims时，也可实现桔子和苹果的正确区分，即苹果对应的输出为1，桔子的对应输出为－1。但是如果有一个椭圆形的桔子（－1，－1，－1）被放在分类器中，按照前一种识别模式，其输出仍然为－1，即桔子；而当通过后一种识别模式时其被错误的识别为1，即苹果。 （二）有监督的Hebb学习规则 Hebb学习规则是最早的神经网络学习规则之一，由Donald Hebb在1949年作为大脑