计算智能第2章 神经网络.pptVIP

第2章 神经网络 Contents 2.1 神经网络简介 2.1.1 基本原理 2.1.1 基本原理 2.1.1 基本原理 2.1.2 研究进展 2.1.2 研究进展 2.1.2 研究进展 重要学术期刊 IEEE Transactions on Neural Networks IEEE Transactions on Systems, Man and Cybernetics Journal of Artificial Neural Networks Journal of Neural Systems Neural Networks Neural Computation Networks Computation in Neural Systems Machine Learning…… 2.1.2 研究进展 重要学术会议 International Joint Conference on Neural Networks IEEE International Conference on Systems, Man, and Cybernetics World Congress on Computational Intelligence 2.2 神经网络的典型结构 按网络的结构区分 前向网络 反馈网络 按学习方式区分 有教师（监督）学习网络 无教师（监督）学习网络 按网络的性能区分 连续型和离散型网络 随机型和确定型网络 2.2 神经网络的典型结构 按突触性质区分 一阶线性关联网络 高阶非线性关联网络 按对生物神经系统的层次模拟区分 神经元层次模型 组合式模型 网络层次模型 神经系统层次模型 智能型模型 通常，人们较多地考虑神经网络的互连结构。本节将按照神经网络连接模式，对神经网络的几种典型结构分别进行介绍 2.2.1 单层感知器网络 单层感知器是最早使用的，也是最简单的神经网络结构，由一个或多个线性阈值单元组成 由于这种网络结构相对简单，因此能力也非常的有限，一般比较少用 2.2.2 前馈型网络 前馈型网络的信号由输入层到输出层单向传输 每层的神经元仅与其前一层的神经元相连，仅接受前一层传输来的信息 是一种最为广泛使用的神经网络模型，因为它本身的结构也不太复杂，学习和调整方案也比较容易操作，而且由于采用了多层的网络结构，其求解问题的能力也得到明显的加强，基本上可以满足使用要求 2.2.3 前馈内层互联网络 这种网络结构从外部看还是一个前馈型的网络，但是内部有一些节点在层内互连 2.2.4 反馈型网络 这种网络结构在输入输出之间还建立了另外一种关系，就是网络的输出层存在一个反馈回路到输入层作为输入层的一个输入，而网络本身还是前馈型的 这种神经网络的输入层不仅接受外界的输入信号，同时接受网络自身的输出信号。输出反馈信号可以是原始输出信号，也可以是经过转化的输出信号；可以是本时刻的输出信号，也可以是经过一定延迟的输出信号 此种网络经常用于系统控制、实时信号处理等需要根据系统当前状态进行调节的场合 2.2.5 全互联网络 全互联网络是网络中所有的神经元之间都有相互间的连接 如Hopfiled和Boltgmann网络都是这种类型 2.3 神经网络的学习算法 2.3.1 学习方法 2.3.2 学习规则 Hebb学习规则 这个规则是由Donald Hebb在1949年提出的 他的基本规则可以简单归纳为：如果处理单元从另一个处理单元接受到一个输入，并且如果两个单元都处于高度活动状态，这时两单元间的连接权重就要被加强 Hebb学习规则是一种没有指导的学习方法，它只根据神经元连接间的激活水平改变权重，因此此这种方法又称为相关学习或并联学习 Delta（?）学习规则 Delta规则是最常用的学习规则，其要点是改变单元间的连接权重来减小系统实际输出与应有的输出间的误差 这个规则也叫Widrow-Hoff学习规则，首先在Adaline模型中应用，也可称为最小均方差规则 BP网络的学习算法称为BP算法，是在Delta规则基础上发展起来的，可在多层网络上有效地学习 2.3.2 学习规则 梯度下降学习规则 梯度下降学习规则的要点为在学习过程中，保持误差曲线的梯度下降 误差曲线可能会出现局部的最小值，在网络学习时，应尽可能摆脱误差的局部最小值，而达到真正的误差最小值 Kohonen学习规则 该规则是由Teuvo Kohonen在研究生物系统学习的基础上提出的，只用于没有指导下训练的网络 后向传播学习规则 后向传播（Back Propagation，BP）学习，是目前应用最为广泛的神经网络学习规则 2.3.2 学习规则 概率式学习规则 从统计力学、分子热力学和概率论中关于系统稳态能量的标准出发，进行神经网络学习的方式称概率式学习 误差曲线可能会出现局部的