ann人工神经网络 .ppt

* * 上次课内容回顾 CPN训练算法讨论 关于反复使用样本集进行训练的问题 CPN训练算法改造 两层一起训练，分开训练 SK的处理问题 全对传网 * * 第6章 非确定方法 主要内容： 统计网络的基本训练算法 模拟退火算法与收敛分析 Cauchy训练 人工热与临界温度在训练中的使用 BP算法与Cauchy训练的结合。 重点：统计网络的基本训练算法，BP算法与Cauchy训练的结合 难点：模拟退火算法与收敛分析 * * 第6章 非确定方法 6.1 基本的非确定训练算法 6.2 模拟退火算法 6.3 Cauchy训练 6.4 相关的几个问题 * * 第6章 非确定方法 确定的方法 前几章所给方法的共同特征 非确定的方法 生物神经网络按照概率运行 别称 统计方法（Statistical Method）。 既可以用于训练，又可以用于运行 * * 6.1 基本的非确定训练算法 基本思想 从所给的网络中“随机地选取一个联接权”，对该联接权提出一个“伪随机调整量”，当用此调整量对所选的联接权进行修改后，如果“被认为”修改改进了网络的性能，则保留此调整；否则放弃本次调整。 * * 6.1 基本的非确定训练算法 基本数据结构 样本集：S={ (X1,Y1),(X2,Y2),…,(Xs,Ys)} 输入向量：X=(x1，x2，…，xn) 理想输出向量：Y=(y1，y2，…，ym) L层： W(1) ，W(2) ，…，W(L) * * 6.1 基本的非确定训练算法 拓扑结构 x1 o1 输出层 隐藏层 输入层 x2 o2 om xn … … … … … … … W(1) W(L) W(2) * * 算法6-1 基本统计训练算法 1 从样本集S中取一样本（X,Y）； 2 将X输入到网络中，计算出实际输出O； 3 求出网络关于Y，O的误差测度E； 4 随机地从W(1) ，W(2) ，…，W(L)中选择一个联接权wij(p)； 5 生成一个小随机数Δwij(p)； 6 用Δwij(p)修改wij(p)； * * 算法6-1 基本统计训练算法 7 用修改后的W(1) ，W(2) ，…，W(L)重新计算X对应的实际输出O′； 8 求出网络关于Y，O′的误差测度E′； 9 如果E′E，则保留本次对W(1) ，W(2) ，…，W(L)的修改， 否则，根据概率判断本次修改是否有用，如果认为有用，则保留本次对W(1) ，W(2) ，…，W(L)的修改，如果认为本次修改无用，则放弃它； 10 重复上述过程，直到网络满足要求。 * * 算法6-1 基本统计训练算法 目标函数（Objective Function） 误差测度函数：实际输出与理想输出方差和 计算量 从W(1) ，W(2) ，…，W(L)中随机地选择wij 共有n×H1+H1×H2+H2×H3+…+HM-1×m个“变量”可供选择 伪随机数 伪随机数发生器来产生Δwij(p)； 按照所谓的“能量”函数的分布去计算它 * * 算法6-1 基本统计训练算法 局部极小点 当E′E不成立时，考虑使网络从局部极小点中逃离出来，必须允许目标函数暂时变坏 循环控制 判断标准 用一个样本对网络的某一个联接权进行修改后，是随机地抽取另一个联接权进行重复，还是再选择下一个样本进行重复 对一个选定的样本，每次是否可以选取若干个联接权进行修改？如果可以，还应做什么工作？ * * 逃离局部极小点 联接权修改量 太小：落到A点后很难逃离 太大：导致在A、B两点来回抖动 解决办法 控制联接权修改量的大小：权修改量由大变小 允许暂时变坏 修改量的大小和网络的“能量”相关 模拟退火 A B D * * 逃离局部极小点 D B A * * 6.2 模拟退火算法 金属中原子的能量与温度有关 原子能量高的时候，有能力摆脱其原来的能量状态而最后达到一个更加稳定的状态——全局极小能量状态 在金属的退火过程中，能量的状态分布 P(E)——系统处于具有能量E的状态的概率； k——Boltzmann常数； T——系统的绝对温度(Kelvin) P(E)∝ * * 步长和能量、温度的关系 降温过程 高温 低温 原子运动平稳 原子激烈随机运动 能量与温度相关 步长与能量和温度相关 步长与能量相关 大步长 小步长 可逃离 难逃离 金属热加工 大 小 高 低 高能量 低能量 目标函数的值 网络的能量 训练 * * 能量与温度 高温情况下： T足够大，对系统所能处的任意能量状态E，有 将趋近于1 * * 能量与温度 中温情况下： T比较小，E的大小对P(E)有较大的影响 ，设E1E2 P(E2)P(E1)。即，系统处于高能量状态的可能性小于处于低能量状态的可能性 *