前馈神经网络模型.pptVIP

的选择决定了学习算法收敛的稳定性和收敛的速度。稳定性要求：02。但是过大可能会修正过度，一个比较好的选择范围是：011102的取值LMS算法的几何解释若ADALINE输入为二值，它可以完成一定的逻辑功能。若有n个输入，即则有2n个可能的输入模式。在一般的逻辑实现中，依照所期望的输出响应，可以将个输入模式划分成＋和－两类。每一个自适应线性元模型可以完成某一种逻辑功能，因而我们也可以把自适应线性元看成是一逻辑部件。ADALINE模型计算能力分析01每个自适应线性元的功能也主要由各个权值所确定。02每个自适应线性元只能实现逻辑空间上的线性划分。ADALINE模型计算能力分析ADALINE模型学习过程举例网络模型x1=1.2x2=2.7x0=1w1=0.344w2=1.1w0=1d=2.3y=4.57E=-2.27w0=0.870w1=0.5w2=0.749y=3.305E=-1.05结束判据ADALINE模型的学习曲线A总体误差降低到某个预设的极小值；B迭代了一定的次数。第三部分BP模型感知器神经网络的学习规则和最小均方差（LMS）学习算法只能训练单层神经网络，而单层神经网络只能解决线性可分的分类问题。多层神经网络可以用于非线性分类问题。但需要寻找训练多层网络的学习算法。01BP算法----适于多层网络的学习算法。02BP网络广泛应用于函数逼近、模式识别/分类、数据压缩等。0380%~90%的人工神经网络采用BP网络或者它的变化形式，它也是前馈网络的核心部分，体现了人工神经网络最精华的部分。04BP神经元与其他神经元类似，不同的是BP神经元的传输函数为非线性函数，常用的有S型函数。BP网络的信息从输入层流向输出层，是一种多层前馈神经网络。感知器学习规则的训练步骤：感知器的学习规则(1)对各权值w0j(0),w1j(0),┄,wnj(0)，j=1,2,┄,m（m为计算层的节点数）赋予较小的非零随机数；(2)输入样本对{Xp,dp}，其中Xp=(-1,x1p,x2p,┄,xnp)，dp为期望的输出向量（教师信号），上标p代表样本对的模式序号，设样本集中的样本总数为P，则p=1,2,┄,P；感知器的学习规则计算各节点的实际输出ojp(t)=sgn[WjT(t)Xp],j=1,2,...,m；j=1,2,┄,m,其中η为学习率，用于控制调整速度，太大会影响训练的稳定性，太小则使训练的收敛速度变慢，一般取0＜η≤1；(4)调整各节点对应的权值，Wj(t+1)=Wj(t)+η[djp-ojp(t)]Xp,01样本，感知器的实际输出与期望输出相等。(5)返回到步骤(2)输入下一对样本，周而复始直到对所有0201初始化：权值初始化为一个较小的随机非零值。02将一模式送入输入神经元，并给出理想输出值。03计算神经网络模型的实际输出：04调节权值:05转2，直到这次迭代完所给定的所有输入样本。06计算结束判据。条件符合，结束；否则转2。感知器的学习规则的训练步骤感知器的学习例三单计算节点感知器，3个输入。给定3对训练样本对如下：X1=(-1，1，-2，0)T d1=?1 X2=(-1，0，1.5，-0.5)T d2=?1X3=(-1，-1，1，0.5)T d3=1设初始权向量W(0)=(0.5,1,-1,0)T，η=0.1。注意，输入向量中第一个分量x0恒等于-1，权向量中第一个分量为阈值，试根据以上学习规则训练该感知器。解：第一步输入X1，得WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5o1(0)=sgn(2.5)=1W(1)=W(0)+η[d1-o1(0)]X1=(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T=(0.7,0.8,-0.6,0)T感知器的学习01020304WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6W(2)=W(1)+η[d2-o2(1)]X2=(0.7,0.8,-0.6,0)To2(1)=sgn(-1.6)=-1=(0.7,0.8,-0.6,0)T+0.1[-1-(-1)](-1,0,1.5,-0.5)T由于d2=o2(1)，所以W(2)=W(1)。0506第二步输入X2，得感知器的学习第三