人工神经网络7Boltzman.pptVIP

Boltzmann机的学习规则 Boltzmann机是一种随机神经网络，可使用概率中的似然函数量度其模拟外界环境概率分布的性能。因此，Boltzmann机的学习规则就是根据最大似然规则，通过调整权值wij，最小化似然函数或其对数。 假设给定需要网络模拟其概率分布的样本集合δ，Vx是样本集合中的一个状态向量，Vx即可代表网络中显见神经元的一个状态，假设向量Vy表示网络中隐见神经元的一个可能状态，则V=[Vx Vy]即可表示整个网络所处的状态。 * * Boltzmann机的学习规则 由于网络学习的最终目的是模拟外界给定样本集合的概率分布，而Boltzmann机含有显见神经元和隐见神经元，因此Boltzmann机的学习过程包括以下两个阶段： （1）主动阶段：网络在外界环境约束下运行，即由样本集合中的状态向量Vx控制显见神经元的状态。定义神经元i和j的状态在主动阶段的平均关联为： Boltzmann机的学习规则 其中概率P(Vy|Vx)表示网络的显见神经元约束在Vx下隐见神经元处于Vy的条件概率，它与网络在主动阶段的运行过程有关。 (2)被动阶段：网络不受外界环境约束，显见神经元和隐见神经元自由运行，不受约束。被动阶段的平均关联为：定义神经元i和j的状态在 Boltzmann机的学习规则 P(V)为网络处于V状态时的概率，vi和vj分别是神经元i和j的输出状态。由于网络在自由运行阶段服从Boltzmann分布，因此: E(V)为网络处于V状态时的能量。 网络的权值wij需遵循下面的调整规则： Boltzmann机的学习规则 wij(t)为在第t步时神经元i，j之间的连接权值，η为学习速率，T是网络温度。 Boltzmann机的优点： (1)通过训练，神经元体现了与周围环境相匹配的概率分布； (2)网络提供了一种可用于寻找、表示和训练的普遍方法； (3)若保证学习过程中温度降低的足够慢，根据状态的演化，可以使网络状态的能量达到全局最小点。 Boltzmann机的学习规则 但是在Boltzmann机的学习过程中被动阶段的存在具有两个很大的缺点： （1）增加计算时间。在外界环境约束条件下，一些神经元由外部环境约束，而在自由运行条件下，所有的神经元自由运行，这样增加了Boltzmann机的随机仿真时间。 （2）对于统计错误的敏感。Boltzmann机的学习规则包含了主动阶段关联和被动阶段关联的差值。当这两种关联相类似时，取样噪声的存在使得这个差值更加不准确。 仿真实例 一个含有三个神经元的BM神经网络结构如图所示，其网络权值矩阵和阀值为 V1 V2 V3 试计算其运行过程，并确定网络的最后热平衡状态。 * * * * 模拟退火求解组合优化问题 第三步：退火过程。 按照一定的降温方法得到一个新的温度T，检查T是否小于给定的温度终止阈值Tfinal。若小于，则退火过程结束，当前状态V即为算法最终输出解。若温度T大于等于给定阈值，则转至Metropolis抽样过程，在新的温度下搜索状态。 注意：在上述退火过程中，模拟退火算法是否能达到能量E的最小值，取决于T0是否足够高，和T下降得是否充分慢，以及对每个T时系统是否稳定。 （1）T0的选择方法： a. 均匀随机抽样{Vi}，取此时C(Vi)的方差为T0 b. 在所有可能的组合状态中，选两个状态使ΔC’ 最大，取T0为ΔC’的若干倍； c. 按经验给出。 * * 模拟退火参数控制 模拟退火参数控制 (2) 退火过程中Tfinal 的选取方法： a 依据经验确定 b 检验系统的熵是已否达到最小，若达到最小， 即可认为温度已达到终止温度。 c T下降n次后都没有改善，即可认为能量已降 到最低，没有必要再降温。 * * 模拟退火参数控制 （3）Metropolis抽样过程的收敛算法： a.检验目标函数C(﹒)的均值是否稳定； b.继续若干步，C(﹒)变化很小（设定阈值）； c.按一个固定步数抽样。 （4）降温方法的确定： 根据Kirlpatrick的方法令 ， 模拟退火参数控制 模拟退火算法是一种通用的随机搜索算法，它可用于解决众多的优化问题，并已经广泛的应用于其他领域。如VLSL设计、图像识别等。当待解决的问题复杂性较高，而且规模较大时，在对问题的领域知识甚少的情况下，采用模拟退火算法最合适。因为模拟退火算法不像其他确定型启发式算法那样，需要依赖于问题的领域知识来提高算法的性能。 模拟退火参数控制 但是，从另一方面来说，已知有关待解决问题的一些知识后，模拟退火算法却无法充分