软件建模与UML 第九章.ppt

第 9 章 神 经 网 络;目 录; 9.1 神经网络概念与感知机 9.1.1神经网络原理 人工神经网络（ANN）是模拟人脑神经元活动的过程，其中包括对信息的加工、处理、存储、搜索等过程。 ANN不能对人脑进行逼真描述，但它是人脑的某种抽象、简化和模拟。 ;人脑神经元的形状为： ;神经元组成； 树突：神经纤维较短，是接收信息的。 细胞体：对接收到的信息进行处理。 轴突：较长的神经纤维，是发出信息的。 突触：一个神经元的轴突末端与另一个神经元的树突之间密切接触。 神经元具有如下性质： （1）多输入单输出； （2）突触具有加权的效果； （3）信息进行传递； （4）信息加工是非线性。;神经元的数学模型图：;Hebb规则;9.1.2 感知机网络 感知机网络是神经网络应用最早，且最成功的神经网络模型。　 1.感知机网络原理 感知机网络是双层模型。输出层神经元i的输入为： Ｉi＝∑Ｗijxj xj为j神经元的输出，Ｗij为神经元j到神经元i的连接权重。;神经元i的输出为： Ｏi＝ｆ（Ｉi） 其中ｆ（ｘ）为神经元作用函数。（一般采用 [0,1]阶梯函数 ） 　　设i神经元的期望输出为Ｄi，它与计算输出Ｏi之差为： δｉ＝Ｄi－Ｏi 通过样本学习，应该让权重Ｗij使δi尽可能小。利用著名的德尔塔规则（delta rule）计算： 　 △Ｗij＝αδi xj （α为常数）　 δ规则: 　　Ｗij(t+1)＝Ｗij(t)＋△Ｗij 更新权重Ｗij。;9.2.3感知机实例与讨论;计算过程： 　　Ｋ＝１：　ｙ＝ｆ（０＋０）＝０ 　　　　┌Ｗ1 ┐(1)┌Ｗ1┐(0) 　　　　┌０┐　 ┌０┐　┌０┐　┌０┐ 　　　　│ │＝ │ │＋（０－０） │ │＝ │ │＋│　│＝ │ │ 　　　　└Ｗ2 ┘ └Ｗ2┘ 　 └０┘　 └０┘ └０┘　 └０┘ 　　Ｋ＝２， ｙ＝ｆ（０＋０）＝０ 　　　　┌Ｗ1 ┐(2)┌Ｗ1┐(1) 　　　　┌０┐　 ┌０┐　┌０┐　┌０┐ 　　　　│ │＝ │ │＋（１－０） │ │＝ │ │＋│　│＝ │ │ 　　　　└Ｗ2 ┘ └Ｗ2┘ 　 └１┘　 └０┘ └１┘　 └１┘ 　　Ｋ＝３，　ｙ＝ｆ（０＋０）＝０ 　　　　┌Ｗ1 ┐(3)┌Ｗ1┐(2) 　　　　┌１┐　 ┌０┐　┌１┐　┌１┐ 　　　　│ │＝ │ │＋（１－０） │ │＝ │ │＋│　│＝ │ │ 　　　　└Ｗ2 ┘ └Ｗ2┘ 　 └０┘　 └１┘ └０┘　 └１┘ 　　Ｋ＝４，　ｙ＝ｆ（１＋１）＝ｆ（２）＝１ 　　　　┌Ｗ1 ┐(4)┌Ｗ1┐(3) 　　　　┌１┐　 ┌１┐　┌０┐　┌１┐ 　　　　│ │＝ │ │＋（１－１） │ │＝ │ │＋│　│＝ │ │ 　　　　└Ｗ2 ┘ └Ｗ2┘ 　 └１┘　 └１┘ └０┘　 └１┘ 再循环一次，将会得到所有例子的（ｄ－ｙ）值均为零，即权值（Ｗ1＝１，Ｗ2＝１）满足所有实例要求。 ; 对异或（ＸＯＲ）问题： 　　输入　ｘ1　ｘ2　输出　ｙ 　　　　　０ 　０　 　０　 　　　　　０ 　１　 　１ 　　　　　１ 　０ 　　１ 　 　　　　１ 　１　　 0　　　　 样本是非线性样本，即找不到一个超平面，将两类样本分开。 感知机对ＸＯＲ问题的计算： 同二值逻辑样本计算，Ｋ＝１，２，３的计算相同，Ｋ＝４时有： 　ｙ＝ｆ（１＋１）＝ｆ（２）＝１ 　　┌Ｗ11 ┐(4)┌Ｗ11┐(3) 　　　　┌１┐　 ┌１┐　┌－１┐　┌０┐ 　　│ │＝ │ │＋（０－１） │ │＝ │ │＋│　　│＝│ │ 　　└Ｗ21 ┘ └Ｗ21┘ 　 └１┘　 └１┘ └－１┘　└０┘ 修改后的权值，又回到了初始状态，如果继续计算，将出现无限循环，永远不会收敛。 该例充分说明感知机对非线性样本无效。;9.2 反向传播网