常用神经网络.pptVIP

* * 第三章 常用神经网络 前馈型人工神经网络 1、线性阈值单元组成的前馈网络 2、非线性单元组成的前馈网络 前馈型人工神经网络 对于模拟生物神经网络的人工神经网络（ANN），其主要功能取决于两个方面：1）网络的连接方式；2）网络中连接权值的调整规则。 如绪论所述，网络的连接方式有：前馈型神经网络，有反馈的前向网络 ，互连结合型网络 。 本章主要介绍前馈型网络。 前馈网络如图示： 第三章 常用神经网络 前馈型人工神经网络 1、线性阈值单元组成的前馈网络 1）单层感知器 2）多层感知器 2、非线性单元组成的前馈网络 1、线性阈值单元组成的前馈网络---感知器 如果转移函数采用线性阈值函数或符号函数，有一个输出层，或一个以上的隐层的前馈网络，分别称为单层感知器和多层感知器； 线性阈值函数或符号函数如图示： 1）单层感知器 （1）单层感知器模型 每个结点共有n个输入信号X=（x1，x2，…，xn）T，共有m个输出结点，图示为第j个结点（j=1,2,…m）。 j结点的净输入为： 其输出为： 转移函数是阈值函数（即单位阶跃函数），则： 即输出只有两个状态，“1”或“0”，所以， 它实际上是输入模式的分类器，即可以辨 识输入模式属两类中的那一类。 当单层感知器模型只有1个输出结点时，称为简单感知器，其实就是MP模型。 利用简单感知器，可以实现逻辑代数中的“与、或、非”运算。 例1：利用简单感知器完成逻辑“与”运算。 x1 x2 y=x1∧x2 0 0 0（用?表示） 0 1 0（用?表示） 1 0 0（用?表示） 1 1 1（用*表示） 当取w1=w2=1, θ=-1.5时，简单感知器可完成逻辑“与”运算。 即简单感知器可完成逻辑“与”运算，解决线性可分问题。 （2）单层感知器学习方法 前面的权向量，是如何获得的？----通过学习调整得到。 单层感知器的学习算法就是前面介绍的感知器学习算法，是有导师的学习。 权值的修改公式为： 权值修改的目的，就是要找到一个权向量，把n维空间的两类模式用n-1维的超平面线性分开。 （3）单层感知器的局限性 1969年Minsky出版了《感知机》这本书，指出简单感知器只能解决线性分类问题，不能解决非线性分类问题，如“异或”（XOR）问题。 2）多层感知器 简单感知器只能解决线性可分问题。实际中大量问题是线性不可分的，其解决的有效办法是在输入层与输出层之间引入隐含层，这就是多层感知器。 例：下列异或问题，试用单层和多层感知器来处理。 0 0 0(*表示) 0 1 1(?表示) 1 0 1(?表示) 1 1 0(*表示) 解：如用单层感知器来处理，根据前面公式： 2、3、4式是矛盾的,即这组权重不存在。所以不能用一根直线将两类分开. 如用双层感知器来处理，假设权值已通过学习得到，如图示： 实际上就是在模式空间中用两条直线去划分： 第三章 常用神经网络 前馈型人工神经网络 1、线性阈值单元组成的前馈网络 2、非线性单元组成的前馈网络 1）误差反向传播算法(BP算法)的基本思想 2）单层BP网络 3）单隐层BP网络 4）标准BP算法与累积误差算法 5）全局误差的定义讨论 6）BP网络的能力 7）BP算法的缺陷及改进 2、非线性单元组成的前馈网络--BP网络 如果转移函数采用非线性连续有界函数，有一个输出层，或有一个以上隐层的前馈网络 ，则分别称为单层BP网络和多层BP网络。 1）误差反向传播算法(BP算法)的基本思想 多层前馈网络能大大提高网络的分类能力，但长期以来没有提出解决权值调整的有效算法。1986年，Rumelhart在《Parallel Distributed Processing》一书中，对具有非线性转移函数的多层前馈网络进行了详尽的分析，提出了误差反向传播(Error Back Proragation，简称BP)算法。 由于具有非线性转移函数的多层前馈网络的训练经常采用