深度学习的深度信念网络DBN.ppt

PPT模板下载： 深度置信网络BDN ——学习报告 自编码算法 自编码神经网络尝试学习一个 的函数，也就是说，它尝试逼近一个恒等函数，从而使得输出接近于输入。恒等函数虽然看上去不太有学习的意义，但是当我们为自编码神经网络加入某些限制，比如限定隐藏神经元的数量，我们就可以从输入数据中发现一些有趣的结构。 自编码神经网络示例 如果输入数据中隐含着一些特定的结构，比如某些输入特征是彼此相关的，那么这一算法就可以发现输入数据中的这些相关性。事实上，这一简单的自编码神经网络通常可以学习出一个跟主元分析(PCA)结果非常相似的输入数据的低维表示。 “预训练”方法——限制玻尔兹曼机（RBM） RBM网络共有2层，其中第一层称为可视层，一般来说是输入层，另一层是隐含层，也就是我们一般指的特征提取层。 是可视层与隐藏层之间的权重矩阵， 是可视节点的偏移量， 是隐藏节点的偏移量。 隐含层 可视层 “预训练”方法——限制玻尔兹曼机（RBM） 定义能量函数： 联合概率分布： Z为归一化系数，其定义为： 输入层的边缘概率为： 限制玻尔兹曼机（RBM） 计算方法 权值更新 网络学习的目的是最大可能的拟合输入数据，即最大化 。 Hinton提出了一种快速算法，称作contrastive divergence（对比分歧）算法。这种算法只需迭代k次，就可以获得对模型的估计，而通常k等于1. CD算法在开始是用训练数据去初始化可见层，然后用条件分布计算隐层；然后，再根据隐层，同样，用条件分布来计算可见层。这样产生的结果是对输入的一个重构。根据CD算法： 其中， 是学习率， 是样本数据的期望， 是重构后可视层数据的期望 深度学习 深度学习的实质，是通过构建具有很多隐层的机器学习模型组合低层特征形成更加抽象的高层来表示属性类别或特征，以发现数据的分布式特征。其动机在于建立模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，例如图像，声音和文本。因此，“深度模型”是手段，“特征学习”是目的。 深度学习的核心思路如下： ①无监督学习用于每一层网络的pre-train； ②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入； ③用自顶而下的监督算法去调整所有层。 多层置信网络结构 首先，你需要用原始输入 x(k) 训练第一个自编码器，它能够学习得到原始输入的一阶特征表示 h^{(1)(k)}。 多层置信网络结构 接着，你需要把原始数据输入到上述训练好的稀疏自编码器中，对于每一个输入 x(k)，都可以得到它对应的一阶特征表示 h^{(1)(k)}。然后你再用这些一阶特征作为另一个稀疏自编码器的输入，使用它们来学习二阶特征 h^{(2)(k)}。