神经网络--非确定方法训练网络.docVIP

网络学习的非确定方法 在此之前已经讲述了感知器、BP网络、及RBF网络的训练算法，这些算法有一个共同特点：对应于某个样本的一次迭代，算法都是根据相应样本、神经元状态及网络联接权当前值等计算出本次迭代后网络各联接权的调整量。即：算法所执行的计算是确定的。但人脑中有时神经元是按照概率工作的，神经元在某时刻是处于激励状态还是处于抑制状态具有一定的随机性。所以为增强神经元状态的随机性，可使神经元按一定概率工作，联接权的计算根据一定概率实现随机调整，这种方法叫做非确定方法，也称为统计方法（Statistical Method）。 确定方法 非确定方法 联接权修改方法确定 按概率原则随机调整 激活原则由激励函数确定 神经元的激励或抑制具有随机性 一．基本非确定训练算法 1．基本思想： 从所给网络中随机选取一个联接权，对该联接权提出一个“伪随机调整量”，若此调整量能使网络性能得到“改善”，则保留此调整，否则放弃。这种网络性能的“改善”，除了那些真正改善网络性能的调整外，还应该包括一定概率下那些使网络性能暂时变差、但在总的趋势上有助于网络性能改善的调整。如图1所示的从A点到B点的移动（跳出局部极小）。 图1 局部极小示意图 以下是有监督方式下对一个多层前馈网络的训练过程。多层前馈网络结构如下： 图2 多层前馈网络结构 设网络样本集为： 其中，为网络输入向量和理想输出向量。网络共层，其联接权矩阵依次为： 训练算法如下： Step1：从样本集中取一样本； Step2：将输入网络，计算网络实际输出（，）； Step3：求出网络关于和的误差测度； Step4：随机从中选择一个联接权； Step5：随机生成一个小的随机数； Step6：调整，； Step7：用修改后的重新计算对应的； Step8：求出网络关于和的误差测度； Step9：若，则保留本次对权值矩阵的修改；否则根据概率判断本次修改是否有用，如果认为有用，则保留本次修改，否则放弃。 Step10：重复上述过程，直到网络满足要求。 2．算法说明： （1）训练目标：对样本集中的所有样本，网络能获得最小的误差测度。常采用理想输出与网络实际输出的方差之和作为目标函数。 （2）网络输入层神经元个数为，输出层个数为，设各隐层神经元个数用表示，则上述算法Step4中是从个联接权中随机选择其中一个联接权，对此可供选择的方法较多。 （3）算法中的可采用伪随机数发生器得到，也可根据网络当前状态按照“能量”函数的分布去计算，这样虽计算量大些，但对提高算法的效率有好处。（从理论上讲，联接权的大小应该和网络能量相关） （4）算法中Step9中的操作是为算法能跳出局部极小点而设计的，应用概率原则判断是否接受本次修改。为使网络从局部极小点逃离，必须允许目标函数暂时变差。 （5）用何种标准来判断网络满足要求。 （6）当一个样本输入网络后，产生的随机修改量可能使网络性能变差，即该修改无效，此时能否可以随机抽取其他网络权值进行修改，直至修改有效？ （7）对一个选定的样本，能否每次选取若干个联接权进行修改？若修改有效，可一次进行多个权值的更新。 3．局部极小问题： 从数学角度来说，上述问题是求一个元函数的极小点问题，也就是说算法要在一个极其复杂的高维环境中寻找其全局极小点。由图1可见，若采用基于负梯度的方法修改权值，则网络一旦陷入局部极小，就难以逃离出来。而在上述算法中，如果权值修改量较大，就很有可能使网络远离已经陷入的某个极小点，所以保留使网络性能变差的修改，同时适当增加修改量将有助于网络逃离局部极小点的束缚。同样，权值修改量不宜过大，否则容易造成函数在相邻极值点之间的来回跳动。 一个较好的办法是：在算法初期选择较大的权值修改量，这样有利于搜索整个输入空间；然后逐渐减小这个修改量，但应保证网络有能力从局部极小点跳出；在算法后期，进一步减小权值修改量，当网络进入全局极小点区域时，网络没有足够能量跳出。所以权值修改量大小应该和网络的能量相关。 二．模拟退火算法（Annealing Algorithm） 网络的目标函数统称定义为网络的某种误差测度。当误差测度较大时，表明网络距离全局极小点比较远，所以网络应该具有较大的“能量”，以使其能逃离可能“路过”的局部极小点；当误差测度较小时，说明距离全局极小点较近，或已进入全局极小点区域，此时网络的“能量”较小，修改网络权值时不足以使其有足够的能量跳出全局极小点。 这一过程可用金属的退火过程形象地描述。在金属热加工过程中，金属的温度与其能量有一定关系。当金属温度超过其熔点（Me