11281024_徐乾舜_智能计算基础.docxVIP

智能计算基础 姓名：徐乾舜班级： 计科1101学号The Wake-Sleep Algorithm For Unsupervised Neural Networks这篇文章主要介绍了Wake-Sleep Algorithm在无人管理的神经网络上的应用。（一）摘要:这个算法主要分为两个阶段：Wake phase 以及 Sleep phase。 Wake phase: 在连续的隐藏层中，自底向上利用“识别”关系(recognition connection)将输入转换成代表。 在“唤醒”阶段，神经元被识别关系所驱动，生成关系被用于提高他们准确重建在下层活动向量的概率。 Sleep phase: 自上而下的“生成”关系利用上一层的代表重建这一层的代表。在“睡眠”阶段，神经元被生成关系（generative connection）所驱动,”识别”关系被用来提高他们能够准确生成上一层激活向量的概率。（二）.详细说明：神经网络主要有两个不同的关系集：自底向上的“识别”关系(recognition connection)被用来将输入向量转换为隐藏层的代表。自顶向下的生成关系（generative connection被用来从潜在的代表中重建一个近似的输入向量。为了简单起见，他们在这里选择状态0和1作为神经单元的状态。设 单元v 的状态为Sv,则它的概率计算公式为：其中，bv为该单元的偏移量，Wuv 是关系之间的权重。下面分别详细说明Wake phase 和 sleep phase：1.Wake phase：在wake phase，神经元被自底向上的关系权重所驱动，这样就产生了输入向量在第一个隐藏层的代表，以此类推，就形成了所有层的代表。所有层的代表组合起来就形成了输入的“total representation”每一个隐藏单元在“total representation” α时的状态记为S.他们假定接受者知道自顶向下的生成权重（generative weight）。这样就能够进行下面的计算。在最顶层的隐藏层中每个单元k 用两点分布被交流，这个概率分布是由公式（1）代入单一的顶层神经元的生成权重（generative weight）而得到的。以下每一层的每个神经元的活动被交流是用两点分布，而这个分布也是由公式（1）代入上一层的每个神经元的状态S 以及他们之间的权重关系得到。神经元j的二值描述长度为：因此输入向量d 用全部代表α的长度就表示为所有隐藏层单元的长度和加上拥有隐藏状态的输入向量的长度： L表示所有的隐藏层，l表示其中的一层，i表示拥有状态的所有输入单元的序号。因为输入的recognition weights 决定了一个条件分布，所以如果recognition weights 是固定的，那么generative weights的调整就变得简单了，运用公式：就能得到相应的generative weights。现在为了最小化 输入向量的长度，他们证明了应该是尽可能的近似于Boltzmann 分布，但是这又带来了一个问题： 计算波尔兹曼分布花费太高，需要有一个近似的方法来计算，这个方法就被他们称为Sleep phase.2.Sleep phase 他们用generative weights自顶向下的进行计算直到输入单元。因为输入单元是随机的所以，每次计算就会得到一个“fantasy” input units。每得到一个fantasy 他们调整recognition weights。 r 指明隐藏层和输入层的状态，q则是单元k可能被s打开的概率。这个过程就被我们称为sleep phase.由recognition weights得到的分布是一个因子分布，这就让其不可能与Boltzmann 分布。这个限制之所以没有成为致命的缺点，是因为在wake phase时，算法适应了generative weights，所以让近似于。上面所论述的大概就是我从这篇文章中读到的基本内容，这是该算法的核心部分。文章的最后通过几个实例验证了该算法的正确性，应该说每个实验都得到了较好的结果，错误率都保持在了较低的水平。由此说明了此算法的正确性。（三）遇到的困难： 1.在算法中，在wake phase，神经元被自底向上的关系权重所驱动，这样就产生了输入向量在第一个隐藏层的代表，以此类推，就形成了所有层的代表。所有层的代表组合起来就形成了输入的“total representation”，这个所有层的representation的总和是如何得到的 ？ 2.最顶层的神经元被交流时，根据论文意思我理解的是代入公式1的权重应该是recognition weights，然后下面层的神经元被交流时，计算概率时代入的权重应该是generative weigh