神经网络论文资料.ppt

神经网络的概念 泛指生物神经网络与人工神经网络 生物神经网络 由中枢神经系统（脑和脊髓）及周围神经系统（感觉、运动、交感等）所构成的错综复杂的神经网络，最重要的是脑神经系统。 人工神经网络(ANN) 由大量简单的处理单元广泛地互相连接而形成地复杂网络系统，以简化，抽象，和模拟人脑神经网络。 概述 概述 神经网络的发展简史 初创（1943—1969） 1943年，McCulloch和Pitts 提出了M-P模型 1949年，Hebb提出Hebb学习规则 1957年，Rosenblatt提出感知器(perceptrons) 1969年，Minsky和Papert发表“Perceptrons” 过渡期（1970—1986） 1980年，Kohonen提出自组织映射理论 1982年，Hopfield提出离散的Hopfield网络模型 1984年，又提出连续的Hopfield网络模型，并用电 子线路实现了该网路的仿真。 1986年，Rumelhart等提出BP算法 发展期（1987--） 1993年创刊的“IEEE Transaction on Neural Network” 生物神经元 构成神经系统的基本单元，简称神经元。包括细胞体、树突、轴突。 神经元电镜图片 轴突 树突 突触 细胞体 神经末梢 组成 细胞体 由细胞核，细胞质，和细胞膜组成。膜内外有电位差，膜外为正，膜内为负。它是神经元新陈代谢的中心，用于接收并处理从其它神经元传递的信息。 轴突 由细胞体向外伸出的一条最长分支，长度可达1m。它通过尾部的神经末梢向其它神经元输出神经冲动，相当于神经元的输出电缆。 树突 除轴突外的其它分支。数目多，长度短。它用于接受从其它神经元传来的神经冲动，相当于神经元的输入端。 突触 一个神经元的轴突末梢和另外一个神经元的树突相接触的地方，相当于神经元之间的接口部分。大多数神经元有103—104个突触。 连接 辐射 一个神经元的轴突末梢与许多神经元的树突相连接。 聚合 许多神经元的轴突末梢与一个神经元的树突相连接。 特性 信息以预知的确定方向传递 一个神经元的树突、细胞体－轴突－突触－另一个神经元树突 时空整合功能 对不同时间通过同一突触传入的信息具有时间整合功能 对同一时间通过不同突触传入的信息具有空间整合功能 工作状态 兴奋状态，对输入信息整合后使细胞膜电位升高，当高于动作电位的阈值时，产生神经冲动，并由轴突输出。 抑制状态，对输入信息整合后使细胞膜电位降低，当低于动作电位的阈值时，无神经冲动产生。 结构的可塑性 神经元之间的柔性连接。 脉冲与电位转换功能 轴突与普通传输线路不同，对于小于阈值的信号在传递过程中会被滤除，而对于大于阈值的则有整形作用。即无论输入脉冲的幅度与宽度，输出波形恒定。 信息传递的时延性和不应期性 在两次输入之间要有一定的时间间隔，即时延； 而在此期间内不响应激励，不传递信息，称为不应 期。 人工神经元及其互连结构 人工神经网络的基本处理单元－人工神经元 模拟主要考虑两个特性：时空加权，阈值作用。 其中对于时空加权，模型分为两类，即考虑时间特性，不考虑时间特性。 人工神经元 M-P模型 最早由心理学家麦克罗奇（W.McLolloch）和数理逻辑学家皮兹（W.Pitts）于1943年提出。 θ Y 输出 e e i i 兴奋型输入 抑制型输入 阈值 M-P模型输入输出关系表 输入条件 输出 M-P模型对抑制型输入赋予了“否决权”，只有当 ， 且 时，才有y＝1，其它时候 y＝0。 一种常见的不考虑时间特性的模型 θ y 输出 x1 x2 … xn wn s 控制符号 f()－－特性函数/激发函数 阈值 连接权值 w2 w1 输入 多输入单输出的非线性器件 一些典型的特性函数 阈值型 线性 s型 神经元的连接 人工神经网络是由神经元广泛互联构成的，不同的连接方式构成了不同的网络模型 前向网络 神经元分层排列(输入层、隐层和输出层)。各层之间的神经元全互联，各层内的神经元无连接。每一层只接受来自前一层的输入。 从输出层到输入层有反馈的网络 层内有互连接的网络 同一层的神经元可以互相连接. 互连网络 任意两个神经元之间可以互相连接。 互连网络一直处于动态变化之中，最后 到达某种稳定状