深度学习的相关算法研究讲解.pptx

深度学习方法的一些研究;;1.1 深度学习的背景及意义;;提取抽象水平较低的特征;深度学习的概念起源于人工神经网络的研究;;;;;1.2 深度学习的发展;2010年，美国国防部DARPA计划首次资助斯坦福大学、纽约大学和NEC美国研究院开展深度学习研究 2012年6月，Google Brain项目用16000个CPU搭建深度学习平台，在语音、图像识别领域获得重要进展 2012年12月，微软亚洲研究院在天津的一次活动中利用深度学习技术进行全自动同声传译，效果良好 2013年1月，李彦宏宣布成立百度的第一个研究院 Institute of Deep Learning 2013年4月，《麻省理工学院技术评论》将深度学习列为2013年十大突破性技术之首 2013年6月微软对Windows Phone平台的必应语音搜索进行了更新。语音识别和反馈的速度提高一倍，精确度提升15% 2014年3月Facebook的 Deepface项目使得人脸识别技术的识别率达到 97.25%，准确率几乎可媲美人类;;贪婪算法;?;?;?;?;;;稀疏连接;;;2.3 实验;;;;2.3 实验;Iris;;;;;;;;;10000张图，每张像素为12X12 网络共有两个隐层，第一个隐层有144个神经元，第二个隐层有50个神经元;10000张图，每张像素为12X12 网络共有两个隐层，第一个隐层有144个神经元，第二个隐层有50个神经元;10000张图，每张像素为12X12 网络共有两个隐层，第一个隐层有144个神经元，第二个隐层有50个神经元;第一个样本所引起的隐层(第一个隐层)神经元响应概率的柱状图;?;?;;部分响应次数较多的隐层神经元的判别能力;;;;;;;极大似然;;从理论上讲，人们总能通过MCMC采集到符合目标分布的样本 实际应用中，人们通常不了解多少次转移是足够的。这个问题很大程度上受到目标分布陡峭程度的影响。;借助多个辅助的Gibbs链，将低温分布下的状态转移到高温分布中，实现目标分布中不同峰值状态的转移，达到对整个分布采样的目的。;;4.3 等能量抽样 ;;; 小数据集;;;;;;;;;;Nannan Ji, Jiangshe Zhang, Chunxia Zhang. A sparse-response deep belief network based on rate distortion theory, Pattern Recognition, 2014, 47(9): 3179-3191. Nannan Ji, Jiangshe Zhang, Chunxia Zhang, et al. Enhancing performance of restricted Boltzmann machine via log-sum regularization, Knowledge-Based Systems, 2014, 63: 82-96. Nannan Ji, Jiangshe Zhang, Chunxia Zhang, et al. Discriminative restricted Boltzmann machine for invariant pattern recognition with linear transformations, Pattern Recognition Letters, 2014, 45: 172-180. Jiangshe Zhang, Nannan Ji, Junmin Liu, et al. Enhancing performance of the backpropagation algorithm via sparse response regularization, Neurocomputing, 2014, Accept with Minor Revision. Nannan Ji, Jiangshe Zhang. Parallel tempering with equi-energy moves for training of restricted Boltzmann machines, In Proceedings of IEEE International Joint Conference on Neural Networks, 2014: 120-127. ;致谢： 研究受科技部973项目 国家自然科学基金委面上项目 重大研究计划资助 研究工作主要参加者： 姬楠楠、张春霞、刘军民 协助PPT制作：姬楠楠 ;谢 谢！