第九章 神经网络modified.ppt

第九章 神经网络 概述 神经网络的概念 泛指生物神经网络与人工神经网络 生物神经网络 由中枢神经系统（脑和脊髓）及周围神经系统（感觉、运动、交感等）所构成的错综复杂的神经网络，最重要的是脑神经系统。 人工神经网络(ANN) 由大量简单的处理单元广泛地互相连接而形成地复杂网络系统，以简化，抽象，和模拟人脑神经网络。 概述 神经网络的发展简史 初创（1943—1969） 1943年，McCulloch和Pitts 提出了M-P模型 1949年，Hebb提出Hebb学习规则 1957年，Rosenblatt提出感知器(perceptrons) 1969年，Minsky和Papert发表“Perceptrons” 概述 过渡期（1970—1986） 1980年，Kohonen提出自组织映射理论 1982年，Hopfield提出离散的Hopfield网络模型 1984年，又提出连续的Hopfield网络模型，并用电 子线路实现了该网路的仿真。 1986年，Rumelhart等提出BP算法 发展期（1987--） 1993年创刊的“IEEE Transaction on Neural Network” 9.1 基本概念 生物神经元 构成神经系统的基本单元，简称神经元。包括细胞体、树突、轴突。 9.1 基本概念 神经元电镜图片 9.1 基本概念 9.1 基本概念 组成 细胞体 由细胞核，细胞质，和细胞膜组成。膜内外有电位差，膜外为正，膜内为负。它是神经元新陈代谢的中心，用于接收并处理从其它神经元传递的信息。 轴突 由细胞体向外伸出的一条最长分支，长度可达1m。它通过尾部的神经末梢向其它神经元输出神经冲动，相当于神经元的输出电缆。 9.1 基本概念 树突 除轴突外的其它分支。数目多，长度短。它用于接受从其它神经元传来的神经冲动，相当于神经元的输入端。 突触 一个神经元的轴突末梢和另外一个神经元的树突相接触的地方，相当于神经元之间的接口部分。大多数神经元有103—104个突触。 9.1 基本概念 连接 辐射 一个神经元的轴突末梢与许多神经元的树突相连接。 聚合 许多神经元的轴突末梢与一个神经元的树突相连接。 9.1 基本概念 特性 信息以预知的确定方向传递 一个神经元的树突、细胞体－轴突－突触－另一个神经元树突 时空整合功能 对不同时间通过同一突触传入的信息具有时间整合功能 对同一时间通过不同突触传入的信息具有空间整合功能 9.1 基本概念 工作状态 兴奋状态，对输入信息整合后使细胞膜电位升高，当高于动作电位的阈值时，产生神经冲动，并由轴突输出。 抑制状态，对输入信息整合后使细胞膜电位降低，当低于动作电位的阈值时，无神经冲动产生。 结构的可塑性 神经元之间的柔性连接。 9.1 基本概念 脉冲与电位转换功能 轴突与普通传输线路不同，对于小于阈值的信号在传递过程中会被滤除，而对于大于阈值的则有整形作用。即无论输入脉冲的幅度与宽度，输出波形恒定。 信息传递的时延性和不应期性 在两次输入之间要有一定的时间间隔，即时延； 而在此期间内不响应激励，不传递信息，称为不应 期。 9.1 基本概念 人工神经元及其互连结构 人工神经网络的基本处理单元－人工神经元 模拟主要考虑两个特性：时空加权，阈值作用。 其中对于时空加权，模型分为两类，即考虑时间特性，不考虑时间特性。 9.1 基本概念 人工神经元 M-P模型 最早由心理学家麦克罗奇（W.McLolloch）和数理逻辑学家皮兹（W.Pitts）于1943年提出。 M-P模型输入输出关系表 输入条件 输出 9.1 基本概念 一种常见的不考虑时间特性的模型 9.1 基本概念 一些典型的特性函数 阈值型 线性 s型 9.1 基本概念 神经元的连接 人工神经网络是由神经元广泛互联构成的，不同的连接方式构成了不同的网络模型 9.1 基本概念 9.1 基本概念 层内有互连接的网络 同一层的神经元可以互相连接. 9.1 基本概念 互连网络 任意两个神经元之间可以互相连接。 互连网络一直处于动态变化之中，最后 到达某种稳定状态，也可能进入周期振荡。 9.1 基本概念 人工神经网络的特征及分类 人工神经网络的特征 能较好的模拟人的形象思维 具有大规模并行协同处理能力 具有较强的容错能力和联想能力 具有较强的学习能力