神经网络..ppt

第五章 神经网络 5.1神经网络概述 5.2单层前向网络及LMS算法 5.3前向神经网络 5.4反馈神经网络 5.5自组织神经网络 5.6神经网络MATLAB实现 定义 特征和功能 发展概况 人工神经网络模型 神经网络的分类和学习规则 神经网络应用 一、神经网络定义 二、神经网络特征和功能 1、特征 结构特征：并行、分布、容错 能力特征：自学习、自组织、自适应 2、功能 三、神经网络发展历史 1、1943-1969年初创期：形式神经元模型(简称MP模型)的问世 (由McCulloch和Pitts提出)；神经元学习规则的提出(由心理学 家Hebb提出)；以及感知器模型和联想记忆模型的建立。 2、1970-1986年过渡期：一度陷入低潮。但是这项研究并未中 断。其中芬兰的Kohonen提出了线性神经网络模型和自组织 映射理论；福岛提出了自组织识别神经网络模型；美国的 Grossberg也提出了几个非线性动力系统结构。影响力较大的属Rumelhart提出的误差反向传播神经网络(error back propagation)，简称BP网络 3、1987年至今发展期。在该阶段，国内外的许多组织及研究机构发起了对神经网络的广泛探讨，并举行了有代表意义的学术会议。这些都意味着神经网络的研究已在世界范围形成了又一个高潮。 4、人工神经网络 五、神经网络分类及学习方法 1、神经网络分类 1）从网络性能角度：连续型和离散型，确定性和随机网络 2）从网络结构角度：前向网络和反馈网络 3）从学习方式角度：有导师学习和无导师学习网络 4）从连接突触性质：一阶线性关联网络和高阶非线性网络 从网络结构和学习算法相结合，分成几类： （1）单层前向网络：拥有的计算节点（神经元）是单层的。 （2）多层前向网络：具有分层的结构，通常包括输入层、隐层（也称中间层）和输出层。每一层的神经元只接受上一层神经元的输入，并且该层神经元的输出送给下一层的各个神经元 。 （3）反馈网络：网络中至少含有一个反馈回路的网络。在反馈网络中，任意一个节点既可接收来自前一层各节点的输入，同时也可接收来自后面任一节点的反馈输入。 Hopfield神经网络是反馈型网络的代表 （4）随机神经网络：神经元按照概率的原理进行工作，每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入，Boltzmann机就是典型的随机网络。 （5）竞争网络：输出神经元相互竞争以确定胜者，胜者指出哪一种原型模式最能代表输入模式，Hamming网络。 2、神经网络学习方法 可分为有导师学习和无导师学习 （1）有导师学习（监督学习）。学习时需要给出导师信号或称期望输出。神经网络对外部环境是未知的，将导师看作对外部环境的了解，由输入-输出样本集合表示。导师信号代表了神经网络执行情况的最佳结果，使网络输出逼近导师信号。 （2）无导师学习，包括强化学习和无监督学习（自组织学习）。在强化学习中，对输入输出映射的学习是通过和外界环境的连续作用最小化性能的标量索引而完成的。在无监督学习中没有外部导师或评价来统观学习过程，而是提供一个关于网络学习表示方法质量的测量尺度，根据该尺度将网络的参数最优化。 5种基本的神经网络学习规则 （1）Hebb学习：为纪念神经心理学家Hebb而命名。用于调整神经网络的突触权值，概括为： 1）如果一个突触连接两边的两个神经元被同时（同步）激活，则该突触的能量就被选择性的增加 2）如果一个突触连接两边的两个神经元被异步激活，则该突触的能量就被选择性的消弱或消除。 （2）纠错学习：实际输出和期望输出之间存在误差，通过调整突触权值，使误差信号减少，设定代价函数为1/2平方和形式，通过反复调整权值是代价函数达到最小或系统达到一个稳定状态。 （3）基于记忆的学习：主要用于模式分类，将过去的学习结果存储在一个大的存储器中，当输入一个新的测试向量是，学习过程就是将测试向量归到已存储的某个类中。 （4）随机学习算法：又称Boltzmann学习规则，该方法由统计力学思想而来，在Boltzmann学习规则基础上设计出的神经网络称为Boltzmann机，其学习算法就是著名的模拟退火算法。 （5）竞争学习：神经网络的输出神经元之间相互竞争，在任一时间只能有一个输出神经元是活性的。 六、神经网络应用 1、宇宙飞船。高性能飞行器自动驾驶 2、汽车行业。自动驾驶系统 3、国防领域。武器操控、目标跟踪、物体识别、雷达信号处理 4、电子领域。集成电路芯片设计、过程控制、机器视觉 5、医药领域。 6、制造领域。 5.2 单层前向网络及LMS算法 一、单层感知器 5.2