第三讲(3人工神经网络(Hopfield).ppt

如何逃离局部极小点？ 联接权修改量 太小：落到A点后很难逃离 太大：导致在A、B两点来回抖动 解决办法 控制联接权修改量的大小：权修改量由大变小 允许暂时变坏 修改量的大小和网络的“能量”相关 模拟退火 逃离局部极小点 模拟退火算法 金属中原子的能量与温度有关 原子能量高的时候，有能力摆脱其原来的能量状态而最后达到一个更加稳定的状态——全局极小能量状态 在金属的退火过程中，能量的状态分布 能量与温度 能量与温度 能量与温度 能量与温度 模拟退火组合优化法 目标函数——能量函数 人工温度T——一个初值较大的数 依据网络的能量和温度来决定联接权的调整量（称为步长）。 与金属的退火过程（Annealing）非常相似 模拟退火组合优化法 基本思想 随机地为系统选择一个初始状态{wij(p)}，在此初始状态下，给系统一个小的随机扰动Δwij(p)，计算系统的能量变化 ΔE=E({wij(p)+Δwij(p)})-E({wij(p)}) 若 ΔE0 则接受 若ΔE≥0 则依据概率判断是否被接受 若接受，则系统从状态{wij(p)}变换到状态{wij(p)+Δwij(p)}；否则，系统保持不变 统计Hopfield网运行算法 1??取一个很大的值作为人工温度T的初值； 2??对网络中每一个神经元ANi，2.1?? 按照相应式子计算相应的概率pi；2.