人工智能教案06章神经网络62前馈型人工神经网络.docVIP

6.2 前馈型人工神经网络　　如前所述，前馈型人工神经网络是多层排列的，信号由输入层到输出层单向传输的网络模型。与神经网络研究初期提出的感知器模型原理上是完全一样的。由于八十年代提出的Back Propagation 网络学习算法，使之成为当今应用最广泛的一种人工神经网络模型。前馈（亦称前向）型网络结构上是分层的，其信息只能从输入层单元向上传输到它上面一层的单元，然后再向前，一层一层地传输。第一层的单元与第二层所有的单元相连，第二层又与其上一层所有的单元相连。在前馈网络中的神经单元输入与输出的关系，可采用线性阈值传递函数或单调上升的非线性传递函数。6.2.1 线性阈值单元 　　线性阈值传递函数是前馈网络中最基本的计算单元形式。图6-8 线性阈值单元 它具有n个输入x1,x2,…,xn，一个输出 ，n个权值w1,w2,…,wn，且 　　 令X=(x1,x2,…,xn)T，W=(w1,w2,…,wn)，则 　　Y=sgn(WX-θ)其中　　 这里要说明一下：（1） xi一般为其它单元的输出，值常取为{1, 0}.（2） 如果令X=(X,1)T且W=(W,－θ)，则　　Y=sgn(WX)6.2.2 感知器 　　感知器（Perceptron）是由美国学者F. Rosenblatt于1957年提出的，它是一个由最简单的线性阈值元件组成的单层（或多层）神经元的神经网络。如右图所示：图6-9 感知器单元模型 　　当输入的加权和大于或等于阈值时，输出为1，否则为0。模型假定神经元中间的耦合程度（即加权系数W）可变，这样，该模型可以学习。　　当它用于两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。Rosenblatt给出了相应的学习算法，并证明如果两类模式是线性可分的（指存在一个超平面能够将它们分开），则算法一定收敛，也就是说W一定存在；否则，判定边界会产生振荡。　　1957年感知器及其学习算法的提出，是人工神经网络研究的重大发现。F. Rosenblatt成功地用其模拟和分析了动物和人的感知、学习能力。可以称为是人类历史上第一个真正的人工神经网络，因为F. Rosenblatt在IBM704计算机上进行了网络模型模拟，从学习结果上可以看到感知器有能力通过学习达到正确分类的结果，可以也称该模型为一个学习机。感知器学习算法　　一个神经网络模型的设计包括：决定采用何种网络模型，网络的结构，神经元的传输函数，如果是多层前馈网络要决定网络的层数，各层的神经元个数。接下来就是采用相应的学习算法，进行学习（训练），使其具备预期的功能。　　学习：神经网络的学习过程就是神经网络参数的设定过程。一个神经元网络结构确定之后，需要对一系列参数（权重、阈值等）进行有效的设定。这个过程叫做学习或训练过程，此时的方法叫学习算法。学习算法_swf.htm 　　这里给出的是单层网络（没有中间层）的学习算法。为方便起见，将阈值θ（它也同样需要学习）并入权重矩阵W中，令w0=θ，X向量也相应的增加一个分量x0=-1，这样网络的输出Y由下列公式表示：　　具体学习算法如下：1). 给定初始值：赋给wi(0)各一个较小的随机非零值，这里wi(t)为t时刻第i个输入上的权值(1≤i≤n)，w0(t)为t时刻的阈值；2). 输入一样本X=(-1， x1, x2,…,xn,)和它的希望输出D;3). 计算实际输出　　4). 修正权重W 　　其中0η≤1用于控制修正速度。 　　通常η不能太大，因为太大会影响wi(t)的稳定，η也不能太小，因为太小会使wi(t)的收敛速度太慢。若实际输出与期望的输出值相同时，wi(t)不变；5). 转到2)直到W对一切样本均稳定不变为止。　　一般神经网络的学习是在学习样本的指导下进行的。不同的学习方法对学习样本有不同的要求。在感知器学习算法中，要求每个学习样本要有已知的标准答案，也称作教师信号。而参数（权值）的修正是根据实际输出值与理想输出值（由教师信号决定）的差值进行。系统参数变化趋于稳定标志着学习进程的收敛。6.2.3 前馈神经网络及BP（反向传播）学习算法　　可以简单地将前馈神经网络看作是一个多层的感知器。由于该种网络多采用BP学习算法进行训练，有时也被称为BP网络。　　前馈神经网络模型的输入输出关系与单层感知器完全相同。前一层的输出是下一层的输入。该种网络多采用BP学习算法进行训练， BP学习算法要求神经元模型的传递函数为有界连续可微函数如sigmoid函数。由具有这种传递函数的神经元组成的网络，通过学习可以用一个连续的超曲面（而不仅仅是一个超平面）来完成划分输入样本空间的功能。在输入样本空间复杂的情况下，可根据要求，采用n层网络结构。此时学习后的网络可以以