第10章随机神经网络及模拟退火算法技术报告.ppt

Concluding Remarks Learning proceeds bottom up on a layer-by-layer basis without any supervision. Deep belief networks provide the designer a great deal of freedom. The challenge for the designer is how to exploit this freedom in a creative way. * 机器人智能与神经计算实验室(RINC.LAB) /rinc 10.2.2 Sigmoid置信度网络 针对Boltzmann机学习过程中被动阶段存在增加计算时间和对统计错误敏感的缺点，Neal在1992年提出了Sigmoid置信度网络，也称为逻辑推理网络。提出此网络的目的在于寻找一种随机神经网络，使其可以具有Boltzmann机从二值向量中学习任意概率分布的能力，而又没有Boltzmann机学习过程中需要被动阶段的缺点。Sigmoid置信度网络通过控制学习过程而不是使用被动阶段，来避免上述的缺点。 机器人智能与神经计算实验室(RINC.LAB) /rinc * 1. Sigmoid置信度网络的结构 机器人智能与神经计算实验室(RINC.LAB) /rinc * Sigmoid置信度网络将Boltzmann机中的对称连接转变为无反馈直接连接的形式，无反馈的连接特性可简化概率计算。Sigmoid置信度网络由多层结构的二值随机神经元构成，并使用Sigmoid函数计算每个神经元的条件概率。 Sigmoid置信度网络结构为典型的前向网络，其输入、输出为二值变量。 机器人智能与神经计算实验室(RINC.LAB) /rinc * 设Sigmoid置信度网络由n个神经元组成，每个神经元的状态由二值随机变量V1,V2,…,Vn表示，则向量V={V1,V2,…,Vn}即可表示网络的状态。定义pa(Vi)为网络中前i-1个神经元状态的一个子集，表示如下： pa(Vi)是随机向量V的子集。因此 机器人智能与神经计算实验室(RINC.LAB) /rinc * 第i个神经元的激活概率由Sigmoid函数定义为： 此处wij为从神经元j到神经元i的连接权值，f(﹒)为Sigmoid函数。从上式中可以看出，条件概率P(Vi=vi|pa(Vi))只与pa(Vi)有关。上式所定义的第i个神经元的激活概率是在网络中传播推理的基础。 机器人智能与神经计算实验室(RINC.LAB) /rinc * 2. Sigmoid置信度网络学习算法 令X表示训练样本集，代表需要网络学习的某种概率分布。假设每个样本都是二值的。由状态向量V决定网络神经元数量。定义状态向量的子集Vx代表训练数据的特征，即Vx是表示显见神经元的状态向量。剩下的状态向量表示为Vy，即隐见神经元的状态向量。 对于给定状态向量V，Sigmoid置信度网络的设计高度依赖于显见神经元和隐见神经元的排列方式。因此，显见神经元与隐含神经元不同的排列方式会导致不同的结构。 机器人智能与神经计算实验室(RINC.LAB) /rinc * 按照梯度下降的思路，将Sigmoid置信度网络神经元的阈值归并至连接权值wij中。则Sigmoid置信度网络第t+1步的权值调整规则如下： 其中： 机器人智能与神经计算实验室(RINC.LAB) /rinc * 机器人智能与神经计算实验室(RINC.LAB) /rinc －―神经元i和j的平均关联wij(t)为第t步时神经元i，j的连接权值，η为学习速率，T是网络温度。 Sigmoid置信度网络在学习过程中摈弃了自由运行的过程，即网络只需在训练样本约束条件下进行学习，从而达到去除被动阶段的目的。 * 与Boltzmann机不同，在Sigmoid置信网络中只有一个阶段需要学习。这种简化的原因在于：经过Sigmoid函数f(﹒)，状态向量的概率分布在每个神经元的局部水平达到标准化。给定从训练样本集合中抽取的vx的值，可以正确建模随机向量V的条件分布。Boltzmann机学习过程中的自由运行阶段由因子 所取代。 机器人智能与神经计算实验室(RINC.LAB) /rinc * Sigmoid置信度网络将前向网络结构引入随机神经网络的研究中，从而避免Boltzmann机神经元全互联结构增加计算概率时间的缺点。另一方面，Sigmoid置信度网络在结构上与前向网络类似，但在前向网络结构的基础上引入了优越的随机机制，从而避免前向网络无法跳出局部极小点等方面的缺点。因此，它结合了随机神经网络与前向神经网络的优点。 机器人智能与神