算法设计与分析耿国华第九章.ppt

9.2.2 BP神经网络的设计 变量l是学习率，通常去0和1之间的一个常数值。后向传播学习使用梯度下降法搜索权值的集合。这些权值可以对给定的分类问题建模，使得样本的网络类预测和实际的类标号距离平方的平均值最小。 在实际应用中，学习时要输入训练样本，每输入一次全部训练样本称为一个训练周期，学习要一个周期一个周期地进行，直至目标函数（一般是误差函数）达到最小或小于某一给定值。 用反向传播算法训练神经网络时有两种方式可供选择，一种是每输入一个样本就修改一次权值，称为单样本训练。这种方法只针对当前样本产生的误差进行调整，难免顾此失彼，使整个训练的次数增加。导致收敛速度过慢。另一种是批处理方式，即一个训练周期后计算总的平均误差。 Chapter 9 9.2.2 BP神经网络的设计 4.BP算法的训练过程 训练期间的每个输入样本都会有一个与之相关联的目标向量，训练的目标是找到一个网络权集，使所有输入样本的期望输出和实际输出误差在一定范围之内。但由于函数不能得到精确的0或1，所以有时分别使用0.1与O.9来代替0和1。一旦所有的输出落在目标值所指定的容许范围内，就可以认为网络完成了学习任务。 算法9-1 反向传播算法的训练过程 while 终止条件不满足 for 每个输入向量 执行正向传播找出实际的输出 通过比较实际输出与目标输出获得误差向量 end for 根据误差调整while中的判断条件 end while 上面是BP算法的基本计算过程。总体来说就是提供给网络一个样本并计算一个误差向量，以确定权值如何改变；对其他样本也重复这个过程。 Chapter 9 9.2.3 BP神经网络的缺点 虽然BP网络得到了广泛的应用，但自身来说也存在一些缺陷和不足，主要包括以下几个方面： （1）由于学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。 （2）BP算法可以使权值收敛到某个值，但并不保证其为误差平面的全局最小 值，这是因为采用梯度下降法可能产生一个局部最小值。 （3）网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。 （4）网络的学习和记忆具有不稳定性。 Chapter 9 9.3 BP模型示例 9.3.1 神经网络字母识别过程 9.3.2 用BP神经网络实现两类模式分类 9.3.3 用神经网络实现医学影像乳腺分类 Chapter 9 9.3.1 神经网络字母识别过程 神经网络首先要以一定的学习准则进行学习，然后才能工作。现以神经网络对手写“A”、“B”两个字母的识别为例进行说明。规定当输入为“A”时，输出为“1”；而当输入为“B”时，输出为“0”。 所以网络学习的准则应该是：如果网络作出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予（0，1）区间内的随机值，将“A”所对应的图像模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”（结果正确），则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。 Chapter 9 9.3.1 神经网络字母识别过程 如果输出为“0”（结果错误），则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够迅速作出、准确的判断和识别。 Chapter 9 9.3.2 用BP神经网络实现两类算法模式分类 两类模式的训练样本集为P={{1,2,0},{-1,1,1},{-2,1,1},{-4,0,0}}。从图9.9看出，分类为简单的非线性分类。1个输入向量包含2个输入元素；1个输出元素即可表示两类分类模式。所以该网络的输入层节点数为2，输出层节点数为1，根据式（9-18），解决该问题的隐含层节点数应在3~12之间，设隐含层节点数为8.在程序设计时，通过判决门限0.5区分两类模式。 Chapter 9 9.3.2 用BP神经网络实现两类算法模式分类