清华人工神经网络电子讲稿培训讲解.ppt

上次课内容回顾 CPN训练算法讨论 关于反复使用样本集进行训练的问题 CPN训练算法改造 两层一起训练，分开训练 SK的处理问题 全对传网 第6章 非确定方法 主要内容： 统计网络的基本训练算法 模拟退火算法与收敛分析 Cauchy训练 人工热与临界温度在训练中的使用 BP算法与Cauchy训练的结合。 重点：统计网络的基本训练算法，BP算法与Cauchy训练的结合 难点：模拟退火算法与收敛分析 第6章 非确定方法 6.1 基本的非确定训练算法 6.2 模拟退火算法 6.3 Cauchy训练 6.4 相关的几个问题 第6章 非确定方法 确定的方法 前几章所给方法的共同特征 非确定的方法 生物神经网络按照概率运行 别称 统计方法（Statistical Method）。 既可以用于训练，又可以用于运行 6.1 基本的非确定训练算法 基本思想 从所给的网络中“随机地选取一个联接权”，对该联接权提出一个“伪随机调整量”，当用此调整量对所选的联接权进行修改后，如果“被认为”修改改进了网络的性能，则保留此调整；否则放弃本次调整。 6.1 基本的非确定训练算法 基本数据结构 样本集：S={ (X1,Y1),(X2,Y2),…,(Xs,Ys)} 输入向量：X=(x1，x2，…，xn) 理想输出向量：Y=(y1，y2，…，ym) L层： W(1) ，W(2) ，…，W(L) 6.1 基本的非确定训练算法 拓扑结构 x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … … … … … … … W(1) W(L) W(2) 算法6-1 基本统计训练算法 1 从样本集S中取一样本（X,Y）； 2 将X输入到网络中，计算出实际输出O； 3 求出网络关于Y，O的误差测度E； 4 随机地从W(1) ，W(2) ，…，W(L)中选择一个联接权wij(p)； 5 生成一个小随机数Δwij(p)； 6 用Δwij(p)修改wij(p)； 算法6-1 基本统计训练算法 7 用修改后的W(1) ，W(2) ，…，W(L)重新计算X对应的实际输出O′； 8 求出网络关于Y，O′的误差测度E′； 9 如果E′E，则保留本次对W(1) ，W(2) ，…，W(L)的修改， 否则，根据概率判断本次修改是否有用，如果认为有用，则保留本次对W(1) ，W(2) ，…，W(L)的修改，如果认为本次修改无用，则放弃它； 10 重复上述过程，直到网络满足要求。 算法6-1 基本统计训练算法 目标函数（Objective Function） 误差测度函数：实际输出与理想输出方差和 计算量 从W(1) ，W(2) ，…，W(L)中随机地选择wij 共有n×H1+H1×H2+H2×H3+…+HM-1×m个“变量”可供选择 伪随机数 伪随机数发生器来产生Δwij(p)； 按照所谓的“能量”函数的分布去计算它 算法6-1 基本统计训练算法 局部极小点 当E′E不成立时，考虑使网络从局部极小点中逃离出来，必须允许目标函数暂时变坏 循环控制 判断标准 用一个样本对网络的某一个联接权进行修改后，是随机地抽取另一个联接权进行重复，还是再选择下一个样本进行重复 对一个选定的样本，每次是否可以选取若干个联接权进行修改？如果可以，还应做什么工作？ 逃离局部极小点 联接权修改量 太小：落到A点后很难逃离 太大：导致在A、B两点来回抖动 解决办法 控制联接权修改量的大小：权修改量由大变小 允许暂时变坏 修改量的大小和网络的“能量”相关 模拟退火 A B D 逃离局部极小点 D B A 6.2 模拟退火算法 金属中原子的能量与温度有关 原子能量高的时候，有能力摆脱其原来的能量状态而最后达到一个更加稳定的状态——全局极小能量状态 在金属的退火过程中，能量的状态分布 P(E)——系统处于具有能量E的状态的概率； k——Boltzmann常数； T——系统的绝对温度(Kelvin) P(E)∝ 步长和能量、温度的关系 降温过程 高温 低温 原子运动平稳 原子激烈随机运动 能量与温度相关 步长与能量和温度相关 步长与能量相关 大步长 小步长 可逃离 难逃离 金属热加工 大 小 高 低 高能量 低能量 目标函数的值 网络的能量 训练 能量与温度 高温情况下： T足够大，对系统所能处的任意能量状态E，有 将趋近于1 能量与温度 中温情况下： T比较小，E的大小对P(E)有较大的影响 ，设E1E2 P(E2)P(E1)。即，系统处于高能量状态的可能性小于处于低能量状态的可能性 能量与温度 能量与温度 低温情况下： T非常小，E的大小对P(E) 的影响非常大 ，设E1E2 P(E2) P(E1)。即，当温度