深度学习_笔记.docxVIP

1 介绍 1989 年 Y.le Cun 首次使用一个简单的 4 层卷积神经网 LeNet-5 在Mnist 数据集上获得 98.4%的识别率，获得前所未有的识别率。. 2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton 和他的学生 RuslanSalakhutdinov 在《科学》上发表了 一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个 主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习 得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深 度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学 习实现的。 BP 算法存在的问题： （1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小； （2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值 初始化会导致这种情况的发生）； （3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标 签的，而大脑可以从没有标签的的数据中学习； 后向传播算法的梯度扩散学习的局部最优和非稀疏性等问题 DL最重要的步骤：第一步的特征学习过程 /zouxy09/article/details/9993371 K-means聚类算法 2 稀疏滤波 样本的特征应该是稀疏, 特征矩阵