“深度学习“学习笔记.pdfVIP

“深度学习”学习笔记 摘要： 人工智能的飞跃发展得益于深度学习理论的突破以及移动互联网 创造的大数据。本文梳理了人工智能、机器学习、深度学习的概念以及 发展历程；介绍了深度学习基本理论、训练方法、常用模型、应用领 域。 关键词： 机器学习、人工神经网路、深度学习、语音识别、计算机视觉 1. 概述 2017 年 5 月 27 日，围棋世界冠军柯洁与 Google 围棋人工智能 AlphaGo 的第三场对弈落下帷幕。在这场人机大战中，世界围棋第一人 0:3 完败于围棋人工智能。人工智能以气势如虹的姿态出现在我们人类的 面前。人工智能 AI （Artificial Intelligence ）从此前的学术研究领域全面 进入大众视野。整个业界普遍认为，它很可能带来下一次科技革命，并 且，在未来可预见的 10多年里，深刻得改变我们的生活。 1.1 、 人工智能、机器学习、深度学习 什么是人工智能？人工智能是研究使计算机来模拟人的某些思维过 程和智能行为（如学习、推理、思考、规划等）的学科。该领域的研究 包括机器人、语言识别、图像识别、自然语言处理和专家系统等。上世 纪50 年代人工智能的理念首次提出，科学家们不断在探索、研究，但是 人工智能的发展就磕磕碰碰。人工智能的发展经历了若干阶段，从早期 的逻辑推理，到中期的专家系统，直到上世纪 80 年代机器学习诞生以 后，人工智能研究终于找对了方向。 机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无 法完成的功能的方法。但从实践的意义上来说，机器学习是一种通过利 用数据，训练出模型，然后使用模型对真实世界中的事件作出决策与预 测的一种方法。基于机器学习的图像识别和语音识别得到重大发展。人 工神经网络（ Artificial Neural Networks ）成为机器学习中的一个重要的 算法，其中反向传播算法（ Back Propagation ）是最常用的 ANN 学习技 术。基于 BP 算法的人工神经网路，主要问题是训练困难、需要大量计 算，而神经网络算法的运算需求难以得到满足。进入 90 年代，神经网络 的发展进入了一个瓶颈期。其主要原因是尽管有 BP 算法的加速，神经 网络的训练过程仍然很困难。因此 90 年代后期支持向量机 (SVM) 算法取 代了神经网络的地位 。【 SVM 是个分类器，通过“核函数”将低维的空间 映射到高维的空间，将样本从原始空间映射到一个更高维的特质空间 中，使得样本在这个新的高维空间中可以被线性划分为两类，再将分割 的超凭你们映射回低维空间。 】 2006 年，加拿大多伦多大学教授、机器学习领域的泰斗 Geoffrey Hinton 在《科学》上发表了一篇文章，开启了深度学习在学术界和工业 界的浪潮。这篇文章有两个主要观点： 1、多隐层的人工神经网络具有优 异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利 于可视化或分类； 2 、深度神经网络在训练上的难度，可以通过“逐层初 始化”（layer-wise pre-training ）来有效克服，在这篇文章中，逐层初始 化是通过无监督学习实现的。深度学习使得机器学习能够实现众多的应 用，并拓展了人工智能的领域范围。深度学习在语音识别和图像识别等 领域获得了巨大的成功因此极有可能是真正实现人工智能梦想的关键技 术。 人工智能、机器学习（ Machine Learning ）和深度学习（ Deep Learning ）之间的关系，如图 1所示。人工智能是机器学习的父类。深度 学习则是机器学习的子类。