deeplearning讲解.ppt

* 两种深度结构（卷积神经网络） 卷积层 学习多个滤波器特征 对于200*200的图像，10*10的 区域卷积,10个滤波器，共1000个 参数，400，000个隐含单元。 * 两种深度结构（卷积神经网络） 卷积层 * 两种深度结构（卷积神经网络） 标准化层 通过标准化，可以使得对同 一个物体的噪音、明暗、粗糙程 度不同的图片，具有不变性。改 善优化。 * 两种深度结构（卷积神经网络） pooling层 pooling层是卷积后，在相邻的区域内， 取一个最大值或者平均值。 前者叫max pooling,后者叫avg pooling。 这是为了解决对象偏移和 旋转的情况。能起作用的偏移幅度， 就取决于 卷积时 patch 的大小， 步长，以及 pooling 的块大小。 * 两种深度结构（卷积神经网络） pooling层 * 两种深度结构（卷积神经网络） CNN典型体系结构 卷积层增加维数，而pooling层 减少维数。 Conv 后的一个点的影响范围是 图片的一个小块，等于filter的大小。 经过 Pooling 后的一个点，则受 很大一个区域的影响。依赖于filter 的 大小, 步幅, pooling的大小。 * 两种深度结构（卷积神经网络） 例子 共用了 5 个卷积 stage, 第一个和第事个包含了 conv-norm-pooling，第 3,4,5 则叧有 conv，因为经过前两个 stage，对 image 的不变性都已经处理过了，所以不再需要 norm和 pool，如果标注数据集足够大的话，用这种结构，既多个卷积层加上全连接层，足以获得很好的训练效果，全连接层就是把最后提取到的特征做类似逻辑回归的分类全连接层其实可以是逻辑回归，可以是 SVM也可以是其他的方法。 深度学习（deep learning） 报告人：谢伟浩 2014年12月7日 * 4月28号，MIT的technology review公布2013年十大突破性技术，排名第一的是深度学习 * 2012.6 “谷歌大脑”项目 2012.6.23“谷歌大脑”成功识别猫咪 * 2012.11 微软智能同声传译 * * * * * * 语言建模 音乐建模 自然语言语法语义标记 自然语言应用 图像中的目标识别 个性化 门牌识别 交通符号分类 语音识别 手写体识别 机器翻译 推荐系统 人脸情感识别 语义分析 问答系统 图像检索 文档分析 提 纲 什么是深度学习？ 定义 什么样才是“深”？ 发展历史 为什么深度学习有效？（试图说明） 什么是好特征？ 两种深度结构 栈式自编码 卷积神经网络 * 什么是深度学习？ Hello，I am MarcAurelio Ranzato 定义 就是说是连续的多个非线性处理过程，用于提取层次性的特征表示，而且整个系统可以一起从数据中学到。 什么是深度学习？ * 什么是深度学习？ 什么样才是“深” * 什么是深度学习？ 什么样才是“深” * 什么是深度学习？ 发展历史 * 为什么深度学习有效？（试图说明） 什么是好特征？ 理想的特征能够独立描述各个因素 对于人脸来说，例如：表情，关照，姿势等等 但是对于自然数据来说，各个变化 因子是相互依赖的 * 为什么深度学习有效？（试图说明） 理想的特征提取器 学习数据的表示，发现并解开各个独立的解释因子。但是我们并没有一种比较好的和通用的方法去学习这样一种特征提取器。 * 为什么深度学习有效？（试图说明） 基本的想法来获取较好的特征表示 1.对于低维相互依赖的因素（线性不可分），在高维可能是线性可分的。 2.把高维空间中相似的东西给聚集在一起（相邻空间语义相似）。 * 为什么深度学习有效？（试图说明） 传统的模式识别技术 * 为什么深度学习有效？（试图说明） 端到端的学习/特征学习/深度学习 * 为什么深度学习有效？（试图说明） 深度学习 图像识别 像素--边沿--纹理基元-- 图形--部分--目标 * 两种深度结构 无监督深度网络 自编码 通过使输入等于输出，使得 中间的隐含节点成为输入特征的 一种压缩表示。 我们可以给自编码神经网络 施加某些限制条件来发现输入数据 的结构，通过施加不同的限制条件 演化出了很多不同的自编码网络。 如稀疏自编码，降噪自编码，还有 受限玻尔兹曼机等。 * 两种深度结构 稀疏自编码 当隐含单元数目较多的时候， 通过对隐含单元加入稀疏性从而可以 发现输入数据中一些有趣的结构。 稀疏性：如果当神经元的输 出接近于1的时候我们认