人工神经网络.pptx

人工神经网络人工神经网络第1页

第5章人工神经网络前馈神经网络2人工神经网络基础知识1自组织神经网络3反馈神经网络4人工神经网络第2页

5.2前馈神经网络单层感知器1多层感知器2误差反传(BP)算法3标准BP算法改进4基于BP算法多层前馈网络设计基础5人工神经网络第3页

5.2.1、单层感知器1958年，罗森布拉特(Rosenblatt)提出一个含有单层计算单元神经网络，称为“感知器”(Perceptron)。感知器是模拟人视觉接收环境信息，并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习思想，而且对所能处理问题存在着收敛算法，并能从数学上严格证实。单层感知器结构与功效非常简单，较易学习和了解，是研究其它网络基础。感知器模型：如图所表示，单层感知器是指 只有一层处理单元感知器。图中输入层 也称感知层，有n个神经元节点,这些节点 只负责引入外部信息，本身无信息处理能 力，每个节点接收一个输入信号。输出层 也称处理层，有m个神经元节点,每个节点 都有信息处理能力。 输入列向量：X=(x1,x2,…,xn)T 输出列向量：O=(o1,o2,…,om)T 权值列向量：Wj=(w1j,w2j,…,wnj)T 离散型单层感知器转移函数普通采取符号函数：x1x2xixno1ojom························W1WjWm人工神经网络第4页

5.2.1、单层感知器感知器功效 考虑如图所表示单计算节点感知器情况。则①设输入向量X=(x1,x2)T,则两个输入分量在几何上组成一个二维平面，输入样本能够用该平面上一个点表示。则由方程确定直线成为二维输入样本空间上一条分界限。②设输入向量X=(x1,x2,x3)T,则三个输入分量在几何上组成一个三维空间。节点j输出为由方程确定平面成为三维输入样本空间上一个分界面。③推广到n维空间普通情况，设输入X=(x1,x2,…,xn)T,则n个输入分量在几何上组成一个n维空间。由方程可定义一个n维空间上超平面。此平面能够将输入样本分为两类。ojx1x2xixn············Wj人工神经网络第5页

5.2.1、单层感知器感知器不足 假如两类样本能够用直线、平面或超平面分开，称为线性可分，不然称为线性不可分。由感知器分量几何意义可知，因为净输入为零确定分类判决方程是线性方程，因而它只能处理线性可分问题而不能处理线性不可分问题。由此可知，单计算层感知器不足为：仅对线性可分问题含有分类能力。感知器学习算法 采取感知器学习规则进行训练。训练步骤为：①对各初始权值w0j(0),w1j(0),w2j(0),…,wnj(0)，j=1,2,…,m(m为计算层节点数)赋予较小非零随机数；②输入样本对{Xp,dp}，其中Xp=(-1,,,…,),dp为期望输出向量(教师信号),上标p代表样本正确模式序号，设样本集中样本总数为P，则p=1,2,…,P；③计算各节点实际输出；④调整各节点对应权值，，其中η为学习率，用于控制调整速度，太大会影响训练稳定性，太小则使训练收敛速度变慢，普通取0η≤1；⑤返回步骤②输入下一对样本，周而复始直到对全部样本感知器实际输出与期望输出相等。人工神经网络第6页

5.2.1、单层感知器例单计算节点感知器有3个输入，给定3对训练样本以下 X1=(-1,1,-2,0)T d1=-1 X2=(-1,0,1.5,0.5)T d2=-1 X3=(-1,-1,1,0.5)T d3=1设初始权向量W(0)=(0.5,1,-1,0)T,η=0.1,训练该感知器。解：第一步输入X1，得第二步输入X2，得第三步输入X3，得第四步返回到第一步，继续训练直到dp-op=0,p=1,2,3。人工神经网络第7页

5.2前馈神经网络多层感知器2单层感知器1误差反传(BP)算法3标准BP算法改进4基于BP算法多层前馈网络设计基础5人工神经网络第8页

5.2.2、多层感知器单计算层感知器只能处理线性可分问题，在输入层和输出层之间引入隐层作为输入模式“内部表示”，将单计算层感知器变成多(计算)层感知器，能够实现线性不可分问题。例：用两输入层感知器处理“异或”问题。 如图含有单隐层感知器，其中隐层两个节点相当于两个 独立符号单元。这两个符号单元可分别在x1和x2组成平 面上确定两条分界直线S1和S2