我人工神经网络-4 感知器.pptVIP

第4章 感知器 主要内容 主要内容： 感知器与人工神经网络的早期发展； 线性可分问题与线性不可分问题； Hebb学习律； Delta规则; 感知器的学习算法。 重点：感知器的结构、表达能力、学习算法 难点：感知器的表达能力 单层感知器神经元模型图： F.Roseblatt已经证明，如果两类模式是线性可分的（指存在一个超平面将它们分开），则算法一定收敛。 感知器特别适用于简单的模式分类问题，也可用于基于模式分类的学习控制中。 本节中所说的感知器是指单层的感知器。多层网络因为要用到后面将要介绍的反向传播法进行权值修正，所以把它们均归类为反向传播网络之中。 感知器的网络结构 感知器的输出值是通过测试加权输入和值落在阈值函数的左右来进行分类的，即有： 感知器的图形解释 由感知器的网络结构，我们可以看出感知器的基本功能是将输入矢量转化成0或1的输出。这一功能可以通过在输入矢量空间里的作图来加以解释。 以输入矢量r＝2为例，对于选定的权值w1、w2和b，可以在以p1和p2分别作为横、纵坐标的输入平面内画出W*P+b＝w1 p1十w2 p2十b＝0的轨迹，它是一条直线，此直线上的及其线以上部分的所有p1、p2值均使w1 p1十w2 p2十b＞0，这些点若通过由w1、w2和b构成的感知器则使其输出为1；该直线以下部分的点则使感知器的输出为0。 所以当采用感知器对不同的输入矢量进行期望输出为0或1的分类时，其问题可转化为：对于已知输入矢量在输入空间形成的不同点的位置，设计感知器的权值W和b，将由W*P+b＝0的直线放置在适当的位置上使输入矢量按期望输出值进行上下分类。 感知器的学习规则 学习规则是用来计算新的权值矩阵W及新的偏差B的算法。 感知器利用其学习规则来调整网络的权值，以便使该网络对输入矢量的响应达到数值为0或1的目标输出。 输入矢量X，输出矢量Y，目标矢量为O的感知器网络，其学习规则为： 如果第i个神经元的输出是正确的，即有：yi＝oi，那么与第i个神经元联接的权值wij和偏差值bi保持不变； 如果第i个神经元的输出是0，但期望输出为1，即有yi＝0，而oi＝1，此时权值修正算法为：新的权值wij为旧的权值wij加上输入矢量xj；类似的，新的偏差bi为旧偏差bi加上它的输入1； 如果第i个神经元的输出为1，但期望输出为0，即有yi＝1，而oi＝0，此时权值修正算法为：新的权值wij等于旧的权值wij减去输入矢量xj；类似的，新的偏差bi为旧偏差bi减去1。 感知器学习规则的实质为：权值的变化量等于正负输入矢量。 对于所有的i和j，i＝l，2，…，s；j＝1，2，…，r，感知器修正权值公式为： 网络的训练 离散单输出感知器学习算法感知器的训练过程如下： 在输入矢量X的作用下，计算网络的实际输出Y，并与相应的目标矢量O进行比较，检查Y是否等于O，然后用比较后的误差量，根据学习规则进行权值和偏差的调整； 重新计算网络在新权值作用下的输入，重复权值调整过程，直到网络的输出Y等于目标矢量O或训练次数达到事先设置的最大值时训练结束。 感知器设计训练的步骤可总结如下： 1)对于所要解决的问题，确定输入矢量X，目标矢量O，并由此确定各矢量的维数以及确定网络结构大小的神经元数目：r，s和q； 2)参数初始化： a)赋给权矢量w在(-1，1)的随机非零初始值； b)给出最大训练循环次数max_epoch； 3)网络表达式：根据输入矢量X以及最新权矢量W，计算网络输出矢量X； 4)检查：检查输出矢量X与目标矢量O是否相同，如果是，或已达最大循环次数，训练结束，否则转入5)； 5)学习：根据(3-1)式感知器的学习规则调整权矢量，并返回3)。 离散单输出感知器学习算法 二值网络：自变量及其函数的值、向量分量的值只取0和1函数、向量。 权向量：W=(w1，w2，…，wn) 输入向量：X=(x1，x2，…，xn) 学习样本集： {(X，Y)|Y为输入向量X对应的输出} 算法4-1离散单输出感知器学习算法 离散多输出感知器学习算法 样本集：{(X,Y)|Y为输入向量X对应的输出} 输入向量：X=(x1,x2,…,xn) 理想输出向量：Y=(y1,y2,…,ym) 激活函数：F 权矩阵W=(wij) 实际输出向量：O=(o1,o2,…,om) 算法4-2离散多输出感知器学习算法 算法4-2离散多输出感知器学习算法 算法思想：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。 第1步，权矩阵的初始化：一系列小伪随机数。 算法4-2离散多输出感知器学习算法 第2步，循环控制。