第三章_感知器幻灯片.pptVIP

2003-2-4 第3章 感知器 主要内容： 感知器与人工神经网络的早期发展； 线性可分问题与线性不可分问题； Hebb学习律 感知器的训练算法。 重点：感知器的结构、表达能力、学习算法 难点：感知器的表达能力 第3章 感知器 3.1 感知器与人工神经网络的早期发展 3.2 感知器的学习算法 3.2.1离散单输出感知器训练算法 3.2.2离散多输出感知器训练算法 3.2.3 连续多输出感知器训练算法 3.3 线性不可分问题 3.3.1 异或(Exclusive –OR)问题 3.3.2 线性不可分问题的克服 3.1 感知器与ANN的早期发展 3.1 感知器与ANN的早期发展 1962年，Rosenblatt宣布：人工神经网络可以学会它能表示的任何东西 3.2感知器的学习算法 感知器的学习是有导师学习 感知器的训练算法的基本原理：著名的Hebb学习律 基本思想：逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的权矩阵 。 3.2.1离散单输出感知器训练算法 二值网络：自变量及其函数的值、向量分量的值只取0和1函数、向量。 权向量：W=（w1，w2，…，wn） 输入向量：X=（x1，x2，…，xn） 训练样本集： {（X，Y）|Y为输入向量X对应的输出} 算法3-1离散单输出感知器训练算法 3.2.2离散多输出感知器训练算法 激活函数：F 权矩阵W=（wij） 样本集：{(X,Y)|Y为输入向量X对应的输出} 输入向量：X=（x1,x2,…,xn） 理想输出向量：Y=（y1,y2,…,ym） 实际输出向量：O=（o1,o2,…,om） 算法3-2离散多输出感知器训练算法 算法3-2离散多输出感知器训练算法 算法思想：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。 第1步:权矩阵的初始化(一系列小伪随机数)。 算法3-2离散多输出感知器训练算法 第2步，循环控制。 方法1：循环次数控制法：对样本集执行规定次数的迭代 改进——分阶段迭代控制：设定一个基本的迭代次数N，每当训练完成N次迭代后，就给出一个中间结果(此时，程序需实现训练的暂停、继续、停止等控制) 算法3-2离散多输出感知器训练算法 方法2：精度控制法：给定一个精度控制参数 要解决的两个问题： （1）精度度量 实际输出向量与理想输出向量的对应分量的差的绝对值之和； 实际输出向量与理想输出向量的欧氏距离的和 （2） “死循环”： 网络无法表示样本所代表的问题。（总达不到用户的精度要求） 算法3-2离散多输出感知器训练算法 方法3：综合控制法：将这两种方法结合起来使用 注意：精度参数的设置。根据实际问题选定；初始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。（目的：避免测试阶段花费太多时间） 3.2.3 连续多输出感知器训练算法 将各神经元的输出函数改成非阶跃函数，使输出值变成连续性的。 采用第二种方法来实现对迭代次数的控制。 ε：训练的精度要求。 网络拓扑结构： 算法3-3 连续多输出感知器训练算法 3.2.3 连续多输出感知器训练算法 用公式wij=wij+α（yj-oj）xi取代了算法3-2 第2.1.3步中的多个判断 yj与oj之间的差别对wij的影响由α（yj-oj）xi表现出来 好处：不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽 算法3-3 连续多输出感知器训练算法 值得注意的问题： 1、Minsky在1969年证明，有许多基本问题是感知器无法解决的，这类问题被称为线性不可分问题。 （样本集所代表的问题是否线性可分？） 2、一个问题的线性可分性可能与时间有关 3、很难从样本数据集直接看出问题是否线性可分 4、未能证明，一个感知器究竟需要经过多少步才能完成训练。 3.3 线性不可分问题 3.3.1 异或(Exclusive –OR)问题 （感知器无法解决） 用于求解XOR的单神经元感知器 线性不可分函数 线性不可分函数 设函数有n个自变量，每个自变量的值只可以取0或1，所以函数有2n个输入模式。 不同函数中，每个模式的值可以为0或1，则共有22n种不同的函数。 R. O. Windner 1960年给出n为1到6时二值函数的个数及其中线性可分函数的个数的研究结果。 线性不可分函数 3.3.2 线性不可分问题的克服 一个单级网络可以将平面划分成两部分，用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，就可以构成一个两级网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来。 两级单输出网在n维空间中划分出m边凸域 线性不可分问题的克服 一个非凸域可以拆分成多个凸域。因此，三级网将会