神经网络讲义-Read.doc

神经网络讲义 第0讲 前言 自我介绍：姓名，E－mail地址 登记学生名单： 非电信系学生凭选课单上课； 有选课单未上课的，老师有权给0分。 讲授计划： 第一课：绪论 第二课：介绍Matlab及其神经网络工具包 第三课：神经元与网络结构 第四课：感知机（Perceptron） 第五课：线性神经网络（Adaline） 第六课：后向传播网络（Bckpropagation） 第七课：自学习规则 第八课：自组织网络、Hopfield网络 第九课：期末考试 授课方式：讲授与练习相结合。 授课主要以Matlab为工具，在第二、四、五、六、八课均有课后作业。 每次作业占两个课时。完成后以电子邮件形式将word文档发到信箱；标题写“神经网络作业”，写明如何使用该文件。教师通过上机检查。 考试方式： 平时作业：50％；课后作业，以软件为主； 期末考试：50％；开卷考试，以概念为主。 参考书目： 《人工神经网络》，郑君里，杨行峻主编，1992年9月高教出版社第1版； 《神经网络与模糊控制》，张乃尧，阎平凡编著，1998年10月清华大学出版社第1版； 《基于Matlab的系统分析与设计——神经网络》，楼顺天，施阳主编，1999年9月西安电子科技大学出版社第1版； 英文文献：Neural Network Toolbox For Use with Matlab User Guide Version 4, Matlab Help。 第一讲 绪论 以冯·诺依曼型计算机为中心的信息处理技术的高速发展，使得计算机在当今的信息化社会中起着十分重要的作用。但是，当用它来解决某些人工智能问题时却遇到了很大的困难。 例如，一个人可以很容易地识别他人的脸孔，但计算机则很难做到这一点。这是因为脸孔的识别不能用一个精确的数学模型加以描述，而计算机工作则必须有对模型进行各种运算的指令才行，得不到精确的模型，程序也就无法编制。而大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。人工神经网络(简称神经网络)也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。尽管它还不是大脑的完美元缺的模型，但它可以通过学习来获取外部的知识并存贮在网络内，可以解决计算机不易处理的难题，特别是语音和图像的识别、理解、知识的处理、组合优化计算和智能控制等一系列本质上是非计算的问题。 因此，神经网络技术已成为当前人工智能领域中最令人感兴趣和最富有魅力的研究课题之一。 1．1 神经网络的研究发展史 1．1．1 第一次神经网络研究高潮 对大脑神经元的研究表明，当其处于兴奋状态时，输出侧的轴突就会发出脉冲信号，每个神经元的树状突起与来自其它神经元轴突的互相结合部(此结合部称为Synapse，即突触)接收由轴突传来的信号。如果—神经元所接收到的信号的总和超过了它本身的“阈值”，则该神经元就会处于兴奋状态，并向它后续连接的神经元发出脉冲信号。 1943年，W．S．McCulloch和W．Pitts根据上述研究发表了他们的神经元模型，通常称为MP模型。在该模型中，当神经元处于兴奋状态时，其输出为1；处于非兴奋状态时，输出为0。 1949年，D.O.Hebb提出了神经元的学习法则，即Hebb法则。当神经元兴奋时，输入侧的突触结合强度由于受到刺激而得到增强，这就给神经网络带来了所谓的“可塑性”，并被认为是用神经网络进行模式识别和记忆的基础。到现在为止，大部分神经网络型机器的学习法则仍采用Hebb法则或它的改进形式。 50年代末，F．Rosenblatt基于上述原理提出了一种模式识别机，即感知机(Perceptron)模型。它是由光接收单元组成的输入层，MP神经元构成的联合层和输出层构成。输入层和联合层之间的结合可以不是全连接，而联合层与输出层神经元之间一般是全连接，用教师信号可以对感知机进行训练。 在Hebb的学习法则中，只有加强突触结合强度这一功能，但在感知机中，除此之外还加入了当神经元发生错误的兴奋时，能接受教师信号的指导去减弱突触的结合强度这一功能。 感知机是现代神经计算的出发点。Block于1962年用解析法证明了感知机的学习收敛定理。正是由于这一定理的存在，才使得感知机的理论具有实际的意义，并引发了60年代以感知机为代表的第一次神经网络研究发展的高潮。然而，遗憾的是感知机只能对线性可分离的模式进行正确的分类。当输入模式是线性不可分离时，则无论怎样调节突触的结合强度和阂值的大小也不可能对输入进行正确的分类。以后，Rosenblatt又提出了4层式感知机，即在它的两个联合层之