机器学习综述.pdfVIP

机器学习综述 摘要：为了对高层次结构的抽象的表示，需要有能够对深层结构学习的模型。深 层结构是由非线性的多层次组成，如神经网络有许多隐藏的层。深层结构的参数 优化是一项困难的任务，例如最近提出的深信念网络（ DBN ）学习算法很好解 决了该问题并取得了一定的成功。深度学习是机器学习中一个非常接近AI 的领 域，其动机在于建立、模拟人脑进行分析学习的神经网络。 关键词：神经网络，无监督，深度学习，AI 1 引言 机器学习的核心是学习。机器学习的研究主旨是使用计算机模拟人类的学习 活动,它是研究计算机识别现有知识、 获取新知识、 不断改善性能和实现自身 完善的方法。机器学习研究的就是如何使机器通过识别和利用现有知识来获取新 知识和新技能。它是人工智能的一个重要的研究领域。这里的学习意味着从数据 中学习, 它包括有监督学习( Supervised Learning )、无监督学习 ( Unsupervised Learning) 和半监督学习( Semi- Supervised Learning )三种类别。 目前在机器学习研究领域影响较大的是 H. Simon 的观点:学习是系统中的 任何改进,这种改进使得系统在重复同样的工作或进行类似的工作时,能完成得更 好。学习的基本模型就是基于这一观点建立起来的。 深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进 行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。 深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多 隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加 抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 深度学习的概念由Hinton 等人于2006 年提出。基于深信度网(DBN)提出非 监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多 层自动编码器深层结构。此外Lecun 等人提出的卷积神经网络是第一个真正多层 结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。 深度学习中的主要困难，特别是在模式分类运用中，在数据的维数中学习的 复杂性呈指数的线性增长。主流的方法是克服“维数灾难”，通过使用预处理数 据的方式，这样能够降维以至于更够有效的处理。降维指的是特征提取，结果可 以说是在多模式识别系统智能中转换了特征提取过程中的人类工程，非常具有挑 战性并且高度依赖于相关的应用。此外，如果提取了不完全或错误的特征，分类 过程本质上表示非常有限。 2 浅层学习和深层学习 2.1 浅层学习 20 世纪 80 年代末期，用于人工神经网络的反向传播算法（也叫 Back Propagation 算法或者BP 算法）的发明，给机器学习带来了希望，掀起了基于 统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现，利用BP 算法 可以让一个人工神经网络模型从大量训练样本中学习统计规律，从而对未知事 做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方 面显出优越性。这个时候的人工神经网络，虽也被称作多层感知机（Multi-layer Perception），但实际是只含有一层隐层节点的浅层模型。但是 BP 算法存在一 些问题：（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；（2 ） 收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这 种情况的发生）；（3 ）一般，我们只能用有标签的数据来训练：但大部分的数据 是没标签的，而大脑可以从没有标签的数据中学习； 20 世纪90 年代，各种各样的浅层机器学习模型相继被提出，例如支撑向量 机（SVM，Support Vector Machines）、B sting、最大熵方法（如LR，Logistic Regression）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM、 B sting），或没有隐层节点（如 LR）。这些模型无论是在理论分析还是应用中 都获得了巨大的成功。相比之下，由于理论分析的难度大，训练方法又需要很多 经验和技巧，这个时期浅层人工神经网络反而相对沉寂。 2.2 深层学习 2006 年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton 和 他的学生RuslanSalakhutdinov 在《科学》上发表了一篇文章，