VIP-大数据深度学习-课件.pptVIP

四、深度学习常用框架 五、深度学习应用 1. 图像识别应用 2. 音频识别应用 3. 视频识别应用 4. 自然语言处理应用 自动问答系统 5. 多模态学习应用 Image+Text二模态特征学习任务 6. 多任务学习应用 优点： (1) 相关任务联合学习，能取得较好的特征表达； (2) 多任务联合学习，能增强损失函数的作用效能。 比如单独进行人脸检测会比较难(光照、遮挡等因素)，但当人脸检测与人脸识别这两个相关的任务联合学习时，人脸检测的难度反而降低了。 深度迁移网络为女性推荐、合成最合适的彩妆，包括眼影粉底唇彩 7. 迁移学习应用 迁移学习，简单讲，就是能让现有的模型算法稍加调整即可应用于一个新的领域和功能的一项技术。 8. 大尺度数据集应用 样本总数100M; 类别总数10K; 特征维数10K 六、深度学习存在问题 (1) 大数据所含巨大数据规模要求更加复杂的深度模型挖掘有价值的信息和特征，因而对计算能力提出更高的要求; (2) 如何充分利用GPU的并行处理能力, 提高模型的训练效率； (3) 训练模型时，如何合理的选择模型的深度、隐含层单元数等来保证训练模型性能; (4) 目前，深度学习的研究进展并没有坚实的理论支撑，需进一步完善理论进行更好的指导。 2016年1月15日 汇报内容 深度学习概论 深度学习训练过程 深度学习模型及方法 深度学习常用框架 深度学习应用 深度学习存在问题 一、深度学习概念 什么是深度学习(Deep Learning，DL) 深度学习：一种基于无监督的特征学习和特征层次结构的学习方法。 本质：通过构建多隐层模型和海量训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。 “深度模型”是手段，“特征学习”是目的。 含多隐层的多层感知器是一种深度学习结构。 1. 深度学习历史 第一阶段：1959年的人工智能起始 典型代表：Rosenblatt的感知机 1969年Minsky和Papert合写的“感知机” 第二阶段：BP算法 感知机研究被扩展为人工神经网络 网络越深，越容易出现梯度弥散问题 Shallow Deep Deeper 第三阶段：2006年Hinton教授在《科学》上发表论文,提出深度学习主要观点开始. 2. 深度学习动机 Low-level sensing Pre-processing Feature extract. Feature selection Inference: prediction, recognition 传统的模式识别方法： 良好的特征表达,决定了最终算法的准确性；特征提取部分是识别系统主要关键部分；特征样式大多靠人工设计和提取。结论：特征很重要。 一般而言，特征越多，给出信息越多，提高识别率；特征越多，计算复杂度增加，探索空间大，增加数据稀疏度。 结论：特征并非越多越好。特征数量需要训练学习确定。 浅层学习的局限性： 人工神经网络(BP) —被称为多层感知机，但实际为只含一层隐藏层节点的浅层模型。 SVM、Boosting、LR、Logistic Regression等 —没有隐藏层节点或者仅有一层隐藏层节点的浅层模型。 局限性： 有限样本和计算单元情况下，对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受限，尤其面对大数据问题时不能对数据信息进行有效的挖掘。 神经网络的局限性： 处理数据容易产生过拟合现象，参数调整需要技巧，难以控制； 训练速度比较慢，在层数低于3层的情况下，训练效果并不是最理想的。 3. 深度学习成功条件 1) 大数据助力深度学习发展 一方面，大数据突破训练数据不充足的瓶颈；另一方面，大数据内部隐藏的复杂多变的高阶统计特性需要深度结构的高容量模型有效捕获，二者互为助力，推动发展。 (2) 先进的硬件设施 计算机硬件配置的发展，如高效分布式CPU/GPU计算平台和多机集群并行化处理等为训练复杂的深度模型和大规模数据处理提供硬件设施。 (3) 新的优化技术 无监督预训练网络权值方法避免训练模型陷入局部最小值；修正的非线性激活函数提高训练速度，减少计算开销；随机输入丢弃有效降低模型过拟合可能性。 二、深度学习训练过程 深度学习基本思想： 深度学习要自动地学习特征，假设一堆输入I，输出O，一个n层的系统