计算机新技术深度学习.ppt

百度打造最大计算机大脑 Baidueye宣传片 百度“筷搜”宣传片 百度“快搜”新闻 百度“慧眼识花”宣传片 百度大脑——百度识图 百度大脑——图片搜索 百度大脑——百度魔图 百度大脑——OCR文字识别 百度大脑——百度翻译 百度大脑——拍照实物搜索 百度大脑——百度钱包 百度大脑——广告搜索 百度大脑——广告搜索 百度大脑 百度大脑 百度大脑 能做什么 提高语音识别、图像搜索准确率，助力大数据应用推理预测等； 怎么做 模仿人类大脑的神经网络，通过多层次的网络模型结构认知事物； 前景几何 人工智能技术得到全世界互联网巨头青睐，成为衡量科技创新能力的重要标志。 深度学习简介 深度学习： 一种基于无监督特征学习和特征层次结构的学习方法。 定义： 为什么要自动学习特征 为什么要自动学习特征 为什么要自动学习特征 为什么要自动学习特征 一般而言，特征越多，给出信息就越多，识别准确性会得到提升； 但特征多，计算复杂度增加，探索的空间大，可以用来训练的数据在每个特征上就会稀疏。 结论：不一定特征越多越好！需要有多少个特征，需要学习确定。 为什么要采用层次网络结构 人脑视觉机理 1981年的诺贝尔医学奖获得者 David Hubel和TorstenWiesel发现了视觉系统的信息处理机制。 发现了一种被称为“方向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃。 为什么要采用层次网络结构 人脑视觉机理 人的视觉系统的信息处理是分级的 高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图 抽象层面越高，存在的可能猜测就越少，就越利于分类 为什么要采用层次网络结构 特征的逐层提取 为什么要采用层次网络结构 视觉的层次性 属性学习，类别作为属性的一种组合映射 为什么要采用层次网络结构 特征表示的粒度 具有结构性（或者语义）的高 层特征对于分类更有意义 为什么要采用层次网络结构 初级（浅层）特征表示 为什么要采用层次网络结构 深度学习 2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton在《科学》上发表论文提出深度学习主要观点： 1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类； 2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，逐层初始化可通过无监督学习实现的。 深度学习 深度学习 深度学习 深度学习 vs 浅层神经网络 深度学习 vs 浅层神经网络 深度学习的训练过程 第一步：采用自下而上的无监督学习 1）逐层构建单层神经元。 2）每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。 这个过程可以看作是一个feature learning的过程，是和传统神经网络区别最大的部分。 深度学习的训练过程 深度学习的训练过程 一个简单的深度神经网络 一个简单的深度神经网络 深度学习的典型模型及方法 深度学习的典型模型及方法 深度学习的典型模型及方法 深度学习的典型模型及方法 卷积神经网络（Convolutional Neural Networks ） 深度学习的典型模型及方法 卷积神经网络（Convolutional Neural Networks ） 权值共享 深度学习的典型模型及方法 卷积神经网络（Convolutional Neural Networks ） 隐层神经元数量的确定 深度学习的典型模型及方法 卷积神经网络（Convolutional Neural Networks ） 多滤波器情形 深度学习的典型模型及方法 卷积神经网络（Convolutional Neural Networks ） 深度学习的典型模型及方法 卷积神经网络（Convolutional Neural Networks ） 深度学习性能比较 Deep nets VS. Boosting 深度学习性能比较 Deep nets VS. Probabilistic Models 深度学习的应用 深度学习的应用 深度学习在图像识别上的应用 深度学习的应用 深度学习在图像识别上的应用 深度学习的应用 深度学习在图像识别上的应用 深度学习的应用 深度学习的应用 深度学习在多模态学习中的应用 深度学习的应用 深度学习在多模态学习中的应用 深度学习的应用 深度学习在多模态学习中的应用 深度学习的应用 深度学习在多任务学习中的应用 深度学习的应用 深度学习在多任务学习中的应用 在深度学习模型中，对于相关任务的联合学习，往往会取得较好的特征