人工神经网络07Boltzman.ppt

Boltzmann机的学习规则 Boltzmann机是一种随机神经网络，可使用概率中的似然函数量度其模拟外界环境概率分布的性能。因此，Boltzmann机的学习规则就是根据最大似然规则，通过调整权值wij，最小化似然函数或其对数。 假设给定需要网络模拟其概率分布的样本集合δ，Vx是样本集合中的一个状态向量，Vx即可代表网络中显见神经元的一个状态，假设向量Vy表示网络中隐见神经元的一个可能状态，则V=[Vx Vy]即可表示整个网络所处的状态。 * * Boltzmann机的学习规则 由于网络学习的最终目的是模拟外界给定样本集合的概率分布，而Boltzmann机含有显见神经元和隐见神经元，因此Boltzmann机的学习过程包括以下两个阶段： （1）主动阶段：网络在外界环境约束下运行，即由样本集合中的状态向量Vx控制显见神经元的状态。定义神经元i和j的状态在主动阶段的平均关联为： Boltzmann机的学习规则 其中概率P(Vy|Vx)表示网络的显见神经元约束在Vx下隐见神经元处于Vy的条件概率，它与网络在主动阶段的运行过程有关。 (2)被动阶段：网络不受外界环境约束，显见神经元和隐见神经元自由运行，不受约束。被动阶段的平均关联为：定义神经元i和j的状态在 Boltzmann机的学习规则 P(V)为网络处于V状态时的概率，v