第六讲(神经网络).ppt

算法6-1 基本统计训练算法 局部极小点 当E′E不成立时，考虑使网络从局部极小点中逃离出来，必须允许目标函数暂时变坏 循环控制 判断标准 用一个样本对网络的某一个联接权进行修改后，是随机地抽取另一个联接权进行重复，还是再选择下一个样本进行重复 对一个选定的样本，每次是否可以选取若干个联接权进行修改？如果可以，还应做什么工作？ 逃离局部极小点 联接权修改量 太小：落到A点后很难逃离 太大：导致在A、B两点来回抖动 解决办法 控制联接权修改量的大小：权修改量由大变小 允许暂时变坏 修改量的大小和网络的“能量”相关 模拟退火 逃离局部极小点 D B A 6.2 模拟退火算法 金属中原子的能量与温度有关，原子能量高的时候，有能力摆脱其原来的能量状态而最后达到一个更加稳定的状态——全局极小能量状态。在金属的退火过程中，其能量的状态分布由如下关系确定 P(E)——系统处于具有能量E的状态的概率； k——Boltzmann常数； T——系统的绝对温度(Kelvin) P(E)∝ 步长和能量、温度的关系 降温过程 高温 低温 原子运动平稳 原子激烈随机运动 能量与温度相关 步长与能量和温度相关 步长与能量相关 大步长 小步长 可逃离 难逃离 金属热加工 大 小 高 低 高能量 低能量 目标函数的值 网络的能量 训练 能量与温度 高温情况下： T足够大，对系统所能处的任意能量状态E，有 将趋近于1 能量与温度 中温情况下： T比较小，E的大小对P(E)有较大的影响 ，设E1E2 P(E2)P(E1)。即，系统处于高能量状态的可能性小于处于低能量状态的可能性 能量与温度 能量与温度 低温情况下： T非常小，E的大小对P(E) 的影响非常大 ，设E1E2 P(E2) P(E1)。即，当温度趋近于0时，系统几乎不可能处于高能量状态 模拟退火组合优化法 目标函数——能量函数 人工温度T——一个初值较大的数 依据网络的能量和温度来决定联接权的调整量（称为步长）。 与金属的退火过程（Annealing）非常相似 模拟退火组合优化法 基本思想 随机地为系统选择一个初始状态{wij(p)}，在此初始状态下，给系统一个小的随机扰动Δwij(p)，计算系统的能量变化 ΔE=E({wij(p)+Δwij(p)})-E({wij(p)}) 若 ΔE0 则接受 若ΔE≥0 则依据概率 判断是否被接受 若接受，则系统从状态{wij(p)}变换到状态{wij(p)+Δwij(p)}；否则，系统保持不变 模拟退火组合优化法 在这个过程中，逐渐地降低温度T。所得的系统状态序列{wij(p) }将满足下列分布 算法6-2 模拟退火算法 1初始化个层的联接权矩阵W；定义人工温度T的初值； 2?对每一个温度T重复如下过程： 2.1?取一样本，计算其输出与目标函数E({wij(p) })； 2.2?? 随机地从{wij(p) }中选取一个wij(p)； 2.3?? 按一定的算法产生wij(p) 的一个调整量Δwij(p) ； 2.4?? 按照{ wij(p) +Δwij(p) }重新计算相应输出和目标函数E({ wij(p) +Δwij(p) })； 2.5?? ΔE= E({ wij(p) +Δwij(p) })- E({ wij(p) })； 算法6-2 模拟退火算法 2.6?? if ΔE0 then 2.6.1 按均匀分布在[0,1]区间取一随机数r； 2.6.2 按Boltzmann分布计算接受本次调整的概率： P(E({ wij(p) +Δwij(p) })) = 2.6.3 if P(E({ wij(p) +Δwij(p) }))r then 转2.2； 算法6-2 模拟退火算法 2.7 用{ wij(p) +Δwij(p) }代替{ wij(p) }； 2.8 if 样本集中还有未被选用的样本 then 转 2.1； 3 判断在此温度下，检验Metropolis抽样是否稳定。如不稳定，则直接转2； 4 降低温度T； 5 如果T足够小，则结束，否则，转2。 算法6-2 模拟退火算法 算法的第2步原则上应该对每一个样本调整每一个权，调整的顺序是随机的； 温度T的降低 T=λT λ叫做冷却率，一般情况下可以在[0.8，0.9]之间取值 Geman(1984年)：温度下降必须与时间的对数成反比，网络最终才能收敛到全局极小点 算法6-2 模拟退火算法 T的初值T0 T0= E({w (h) })；即：取初始系统目标函数（能量）的值 T0=z E({w (h) })。即：取初始系统目标函