《人工智能技术基础》课件——第五章 深度学习.pptxVIP

;第五章深度学习;机器学习内容回顾;1.机器学习是什么？;2.机器学习的类别;2.机器学习的分类;3.机器学习算法的求解一般过程;4.数据挖掘实战的通用流程？;5.Python中使用到的工具包？;;WhatisDeepLearning？;概念源于人工神经网络的研究

由GeoffreyHinton等人于2006年提出

通过组合底层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示

深度学习模型可以自动提取很多复杂的特征

通过多层次的非线性变换，它可以将初始的“底层”特征表示转化为“高层”特征表示后，用“简单模型”即可完成复杂的分类学习任务;深度=很多很多的网络层数;第一次兴起：1943年由McCulloch和Pitts首次提出了神经网络中的神经元模型——M-P神经元模型。1958年，感知器perceptron诞生。由于无法解决异或问题陷入低谷期

第二次兴起：1986年，Hinton提出多层感知机（MLP）,加上非线性激活函数???解决了异或问题。并且提出了BP反向传播算法，来训练模型。受限于理论不完善（解释性差等）最终暂时败于SVM，陷入第二次低谷期

第三次兴起，突破，2006年前后GoeffreyHinton提出pre-training方法训练DBN（深度信念网络）以及YannLeCun将BP与CNN结合推出Le-Net。2009：GPU兴起。2012年以后：语音、图像，文本

;深度学习再次飞跃发展的因素：

大规模高质量标注数据集的出现

并行运算(例如GPU)的发展

更好的非线性激活函数的使用：ReLU代替Sigmoid

更多优秀的网络结构的发明:ResNet,GoogleNet,AlexNet等

深度学习开发平台的发展:TensorFlow,Pytorch,Theano和MXNet等

新的正则化技术的出现:批标准化、Dropout等

更多稳健的优化算法:SGD的变种,如RMSprop,Adam等;ImageNet：一个大型可视化数据库。拥有超过1400万的标注图像,包含2万多个类别。

2010年以来，ImageNet项目每年举办一次软件竞赛，即ImageNet大规模视觉识别挑战赛（ILSVRC）。挑战赛使用1000个“整理”后的非重叠类，比赛内容是：正确分类、并检测目标及场景。

;深度学习应用-物体检测与分割;;深度学习应用-人脸合成;2017年的DeepFakes和2019年手机APP-ZAO用换脸技术在互联网社交平台上人气火爆，一度成为热门话题

通过摄像头采集脸部特征（根据指示对镜头完成一??动作）

无监督的图像到图像转换的生成对抗网络;Google神经机器翻译系统在多种语言间的翻译性能获得大幅突破,接近人类的翻译水平;生成莎士比亚诗集;深度学习应用-文本生成图片;在语音识别领域极具挑战性的SwitchBoard任务中，GMM-HMM传统方法一直未能有突破

2011年使用DNN后获得较大突破

2015年,IBM再次将错误率降低到6.9%,接近人类的水平(4%)

2016年，Microsoft将错误率降低到5.9%，进一步接近人类水平

公开语料库：/resources.php

中文：THCHS-30，清华大学，30小时连续普通话语音数据库

;2015年10月，AlphaGo击败樊麾，成为第一个无需让子即可在19路棋盘上击败围棋职业棋手的电脑围棋程序。

2016年3月，AlphaGo与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜。

2017年5月23日到27日，在中国乌镇围棋峰会上，AlphaGo以3比0的总比分战胜排名世界第一的世界围棋冠军柯洁。

2017年10月18日，DeepMind团队公布了AlphaGoZero，从空白状态学起，在无任何人类输入的条件下，AlphaGoZero能够迅速自学围棋，用40天超越了所有旧版本。;深度学习是一种特殊的机器学习;（1）数据依赖性

当数据很少时，深度学习算法的性能并不好。因为深度学习算法需要大量的数据才能很好理解其中蕴含的模式。

（2）硬件依赖

深度学习算法需要进行大量的矩阵运算，GPU主要用来高效优化矩阵运算，所以GPU是深度学习正常工作的必须硬件。与传统机器学习算法相比，深度学习更依赖安装GPU的高端机器。

;（3）特征处理

机器学习需要专家人为定义特征，并编码为一种数据类型。特征工程处理过程非常耗时且需要相应的专业知识。机器学习的模型效果好坏极大取决于特征工程。

深度学习尝试从数据中直接获取特征，这是深度学习与传统机器学习算法的主要的不同。例如，卷积神经网络尝试在前边的层学习低等级的特征(边界，线条)，然后学习部分人脸，然后是高