人工神经网络_深度学习.pptVIP

* * * * . * * * * * * * * * * * * 稀疏自动编码器 §7.3 几种典型的深度学习模型 §7.4 几种典型的深度学习模型 自动编码器(AutoEncoder) 7.3.2深度信任网络DBN 受限 可视层各节点间无连接 隐含层各节点间无连接 可视层作为向量输入 隐含层作为特征检测器 可为二值节点（可取0或1）或实数节点（0～1） 可视层、隐含层的节点数量不定 §7.3 几种典型的深度学习模型 Restricted Boltzman Machine (RBM) RBM的能量 对特定的(v, h)，其能量函数定义为 对每种可能的p(v, h)分布满足 Boltzmann 分布 §7.3 几种典型的深度学习模型 RBM的状态更新/重采样 给定可视层每个节点v，隐含层的每个节点hj依下式确定的概率取1（条件独立） 同样，给定隐含层每个节点h，可依下式确定的概率获得可视层各结点的的无偏估计样本（条件独立） §7.3 几种典型的深度学习模型 §7.3 几种典型的深度学习模型 将多个RBM层叠在一起 前一层RBM的隐含层作为后一层RBM可视层的输入 深度信任网络DBN的构成 概率生成模型 多个受限玻尔兹曼机RBM层组成 §7.3 几种典型的深度学习模型 深度信任网络DBN的训练 对比散度CD算法Contrastive Divergence (Hinton, 2002) 预训练获得生成模型的连接权（训练RBM可视层节点和隐节点间的权值 ） 利用Gibbs Sampling 已知v重采样h 已知h重采样v 定义上述操作为一轮，可多轮 依据下式修正连接权wij DBN 每层RBM内 --隐含层对可见层进行特征提取 层与层之间 每层对前一层提取出的特征进行再提取 第3层 第2层 第1层 §7.4 几种典型的深度学习模型 Yann LeCun In 1995, Yann LeCun and Yoshua Bengio introduced the concept of convolutional neural networks. Yoshua Bengio 7.3.3深度卷积网络 §7.3 几种典型的深度学习模型 在贝尔实验室的研究--提高手写识别 滤波——池化 §7.3 几种典型的深度学习模型 输入图像通过多个可训练的滤波器组进行非线性卷积，卷积后在每一层产生特征映射图，再特征映射图中每组池化（亚采样），最终得到输出值 §7.3 几种典型的深度学习模型 层间局部连接—稀疏连接方式 深度卷积网络多层感知器(MLP)的变种 卷积神经网络中，层间的神经元不是全连接，利用层间局部空间相关性，通过局部连接方式，上层的神经元只与和它相近的下层神经元相连，以大大降低神经网络的参数规模 §7.3 几种典型的深度学习模型 每个卷积滤波器共享相同的参数。卷积神经网络中，卷积层的每个卷积滤波器重复作用于整个感受野中，对输入图像进行卷积，卷积结果构成输入图像的特征图，提取出图像的局部特征 神经元共享权值一个特征映射面上的神经元共享权值，大大降低学习的卷积神经网络模型参数数量 特征映射结构采用sigmoid函数作为卷积网络的激活函数 共享权值 §7.3 几种典型的深度学习模型 最大池化采样—非线性降采样方法 最大池采样方法对卷积特征进行降维，具有平移不变性 Softmax回归—有监督学习算法，解决多分类问题 训练样本集由m个带标签样本构成： 最小化代价函数 §7.3 几种典型的深度学习模型 深度卷积网络训练 与BP网络的向前传播和反向调整权矩阵类似的 一种多层的监督学习神经网络，隐含层的卷积层和池化采样层是实现卷积神经网络特征提取功能的核心 卷积神经网络的低隐含层是由卷积层和最大池化采样层交替组成，高层是全连接层对应传统多层感知器的隐含层和逻辑回归分类器 §7.3 几种典型的深度学习模型 §7.4 开源深度学习框架 ◆Caffe 源自加州伯克利分校的Caffe被广泛应用，包括Pinterest这样的web大户。与TensorFlow一样，Caffe也是由C++开发，Caffe也是Google今年早些时候发布的DeepDream项目（可以识别喵星人的人工智能神经网络）的基础。 ◆Theano 2008年诞生于蒙特利尔理工学院，Theano派生出了大量深度学习Python软件包，最著名的包括Blocks和Keras。 §7.4 开源深度学习框架 ◆Torch Torch诞生已经有十年之久，但是真正起势得益于去年Facebook开源了大量Torch的深度学习模块和扩展。Torch另外一个特殊之处是采用了不怎么流行的编程语言Lua（该语言曾被用来开发视频游戏）。 ◆Brainstorm 来自