2.10_Boltzmann神经网络模型与学习算法讲解.ppt

2.10? Boltzmann神经网络模型与学习算法 概述 Ackley、Hinton等人以模拟退火思想为基础，对Hopfield模型引入了随机机制，提出了Boltzmann机。 概述 Boltzmann机是第一个受统计力学启发的多层学习机，它是一类典型的随机神经网络，属于反馈神经网络类型 其命名来源于Boltzmann在统计热力学中的早期工作和网络本身的动态分布行为 Boltzmann机结合BP网络和Hopfield网络在网络结构、学习算法和动态运行机制的优点，是建立在Hopfield网基础上的，具有学习能力，能够通过一个模拟退火过程寻求解答。不过，其训练时间比BP网络要长。 2.10.1 Boltzmann机的网络结构 Boltzmann机由输入部、输出部和中间部构成 2.10.1 Boltzmann机的网络结构 输入部和输出部神经元统称为显见神经元，是网络与外部环境进行信息交换的媒介，中间部的神经元称为隐见神经元，它们通过显见神经元与外界进行信息交换 每一对神经元之间的信息传递是双向对称的，即 而且自身无反馈，即 。 显见神经元将被外部环境“约束”在某一特定的状态，而中间部隐见神经元则不受外部环境约束。 2.10.1 Boltzmann机的网络结构 Boltzmann机神经元模型 每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入 图中vj表示神经元 j 的输出 2.10.1 Boltzmann机的网络结构 Boltzmann机神经元模型 每个神经元的兴奋或抑制具有随机性，其概率取决于神经元的输入 图中vi表示神经元i的输出 2.10.1 Boltzmann机的网络结构 神经元的全部输入信号的总和由下式给出 为神经元的阈值,并将其看作连接权值为1的输入，可以归并到总的加权和中去，即得到下式 神经元的输出依概率取1或0： 越大，则 取1的概率越大，而取0的概率越小 2.10.1 Boltzmann机的网络结构 神经元的全部输入信号的总和由下式给出 为神经元的阈值,并将其看作连接权值为1的输入，可以归并到总的加权和中去，即得到下式 2.10.1 Boltzmann机的网络结构 ui 越大，则 vi 取1的概率越大，而取0的概率越小 2.10.1 Boltzmann机的网络结构 温度T的作用 如图所示，T越高时，曲线越平滑，即使ui有很大变动，也不会对vi取1的概率变化造成很大的影响；反之，T越低时，曲线越陡峭，当uj有稍许变动时就会使概率有很大差异，当T趋向于0时，每个神经元不再具有随机特性，激励函数变为阶跃函数，这时Boltzmann机演变为Hopfield网络 2.10.1 Boltzmann机的网络结构 温度T的作用 如图所示，T越高时，曲线越平滑，即使uj有很大变动，也不会对vj取1的概率变化造成很大的影响；反之，T越低时，曲线越陡峭，当uj有稍许变动时就会使概率有很大差异，当T趋向于0时，每个神经元不再具有随机特性，激励函数变为阶跃函数，这时Boltzmann机演变为Hopfield网络 2.10.1 Boltzmann机的网络结构 网络能量函数 2.10.2 Boltzmann机学习算法 算法原理 Boltzmann机可视为一动力系统，其能量函数的极小值对应系统的稳定平衡点 将待求解优化问题的目标函数与网络的能量函数相对应，神经网络的稳定状态就对应优化目标的极小值 算法分类 状态更新算法 用于解决优化组合问题 联想记忆算法 用于解决依照一定概率重现记忆的问题 BM网络状态演变的能量特征 为简化讨论，假设BM神经网络按异步方式运行，每次只改变一个神经元的状态。设xi取0和取1时系统的能量函数的差值为ΔEi，则ΔEi=Exi=0-Exi=1=ui . 式中ui是i号神经元的净输入。 在HNN中，我们很容易证明了ΔE0,在BM中则必须按概率的观点来考虑问题。 BM网络状态演变的能量特征 若ΔEi0,说明网络在其第i号神经元取1时的能量小于取0时的能量，这时可计算出 即在下一个时刻xi取1的概率当然高于取0的概率。反之，则可计算出 BM网络状态演变的能量特征 可见，网络运行过程总是以更大的概率朝能量下降的方向演化。不过，这是概率事件，完全存在朝能量上升方向演化的可能。而从概率的角度来看，如果ΔEi越是一个大正数，xi取1的概率越大， ΔEi越是一个大负数，xi取0的概率越大。这样我们就把（1）（2）转换成网络状态出现概率与兑现这种状态时网络能量的变化，以及它们对温度T的依赖联系在一起 BM网络状态演变的能量特征 这样，随着