深度学习的相关算法综述.pptx

深度学习方法的一些研究 西安交通大学 数学与统计学院 张讲社 西安交通大学统计系 主要内容 研究背景与意义 2 利用稀疏响应增强反向传播算法的性能 1 1.1 深度学习的背景及意义 最多含单个将原始信号转换到特定问题空间特征的简单结构，只学习数据的单层表示。 机器学习是使计算机具有人工智能的根本途径 人类的认知过程是以深度的方式呈现的，层次化地组织思想和概念：首先学习简单的概念，然后使用学习到的简单概念表示抽象层面更高的概念。 面对复杂的感知数据，人类总能做出合理的判断 人类大脑的结构和信息处理机制 人类的认知过程 1.1 深度学习的背景及意义 1.1 深度学习的背景及意义 深度学习的概念起源于人工神经网络的研究 1965年 多层前向网 最早的类多层感知器深度学习系统 深度信念网 2006年 突破性的进展 1.2 深度学习的发展 复兴 深度学习成熟条件1——数据集的增大 图 6 数据集与年份 深度学习成熟条件2——神经元之间的连接数增大（本质原因是计算机硬件技术的飞速发展） 图 7 神经元连接与年份 10 深度学习成熟条件3——神经元个数的增加（本质原因是计算机硬件技术的飞速发展） 图 8 神经元个数与年份 11 好算法的出现： 2006年，Geoffrey Hinton在Science上发表了一篇名为《Reducing with Dimensionality of Data with Neural Networks》的文章，从此，神经网络（主要是深度学习）便有焕发了新的青春。 图 9 Geoffrey Hinton与他的学生在Science上发表文章 1.2 深度学习的发展 在学术界的研究现状及应用 2010年，美国国防部DARPA计划首次资助斯坦福大学、纽约大学和NEC美国研究院开展深度学习研究 2012年6月，Google Brain项目用16000个CPU搭建深度学习平台，在语音、图像识别领域获得重要进展 2012年12月，微软亚洲研究院在天津的一次活动中利用深度学习技术进行全自动同声传译，效果良好 2013年1月，李彦宏宣布成立百度的第一个研究院 Institute of Deep Learning 2013年4月，《麻省理工学院技术评论》将深度学习列为2013年十大突破性技术之首 2013年6月微软对Windows Phone平台的必应语音搜索进行了更新。语音识别和反馈的速度提高一倍，精确度提升15% 2014年3月Facebook的 Deepface项目使得人脸识别技术的识别率达到 97.25%，准确率几乎可媲美人类 1.2 深度学习的发展 在工业界的发展 互联网界巨头进入深度学习领域 图 15 机器学习界的执牛耳者与互联网的大鳄的联姻 18 贪婪算法 DBN 预训练 (Hinton et al.[2006], Bengio et al. [2007]) 1.3 深度信念网 DBN 预训练 RBM (Hinton et al.[2006], Bengio et al. [2007]) 1.4 深度信念网 DBN 预训练 RBM (Hinton et al.[2006], Bengio et al. [2007]) 1.4 深度信念网 DBN RBM (Hinton et al.[2006], Bengio et al. [2007]) 1.4 深度信念网 1.4 深度信念网 提出了一种用于训练多层前向网的新算法 建立了基于率失真理论的深度学习模型 提出了对图像变换稳定的分类RBM模型 提出了用于训练RBM的等能量并行回火算法 研究 成果 主要工作 2 利用稀疏响应增强反向传播算法的性能 神经元群 刺激 (Morris et al. [2003] Barlow, [1972] Olshausen et al. [2004]) 稀疏连接：大脑皮层中单个神经元只与其余神经元中的大约 极少数相连 稀疏响应：对于给定的某个刺激，神经系统中仅有少量的神经元响应 2.1 稀疏响应 2.2 基于稀疏响应的多层前向网 输入层 隐层 网络结构 两类数据（红色，蓝色） 样本数：384 2.3 实验 2.3 实验 BP(Hinton et al. [1986]) RoBP(Hirasawa [2009]) GaBP(Girosi et al. [1995]) LaBP(Williams [1995]) EnBP2(Chauvin [1995]) EnBP3(Chauvin [1995]) EnBP1(Chauvin [1995]) SaBP 非线性稀疏表示 第二个隐层在整个数据区域上的响应情况 SRBP BP 感受野的局部化 2.3 实验 泛化能力 (10,000