《Deep Learning——notes》.pdf

Deep Learning （深度学习）资料整理 声明： 1）该Deep Learning 的学习系列是整理自网上很大牛和机器学习专家 所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明 也参考原文献。 2 ）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有 详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博 主删除。 3 ）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正， 谢谢。 4 ）阅读本文需要机器学习、计算机视觉、神经网络等等基础（如果没 有也没关系了，没有就看看，能不能看懂，呵呵）。 5 ）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多 指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦（呵呵，好 高尚的目标啊）。请联系：zouxy09@ 一、概述 Artificial Intelligence ，也就是人工智能，就像长生不老和星际漫游 一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进 步，但是到目前为止，还没有一台电脑能产生“ 自我”的意识。是的，在 人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了 这两者，它甚至都不能分辨一个喵星人和一个汪星人。 图灵（图灵，大家都知道吧。计算机和人工智能的鼻祖，分别对应 于其著名的“ 图灵机”和“图灵测试” ）在 1950 年的论文里，提出图灵试 验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。这 无疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半个 世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。这不仅 让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，相关领域是 “伪科学” 。 但是自 2006 年以来，机器学习领域，取得了突破性的进展。图 灵试验，至少不是那么可望而不可及了。至于技术手段，不仅仅依赖于 云计算对大数据的并行处理能力，而且依赖于算法。这个算法就是， Deep Learning。借助于 Deep Learning 算法，人类终于找到了如何处 理“抽象概念”这个亘古难题的方法。 2012 年6 月，《纽约时报》披露了Google Brain 项目，吸引了公 众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授 Andrew Ng 和在大规模计算机系统方面的世界顶尖专家JeffDean 共同 主导，用16000 个CPU Core 的并行计算平台训练一种称为“深度神经 网络” （DNN，Deep Neural Networks）的机器学习模型（内部共有10 亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知道， 人脑中可是有150 多亿个神经元，互相连接的节点也就是突触数更是如 银河沙数。曾经有人估算过，如果将一个人的大脑中所有神经细胞的轴 突和树突依次连接起来，并拉成一根直线，可从地球连到月亮，再从月 亮返回地球），在语音识别和图像识别等领域获得了巨大的成功。 项目负责人之一Andrew 称：“我们没有像通常做的那样自己框定 边界，而是直接把海量数据投放到算法中，让数据自己说话，系统会自 动从数据中学习。”另外一名负责人Jeff 则说：“我们在训练的时候从来 不会告诉机器说：‘这是一只猫。’系统其实是自己发明或者领悟了“猫” 的概念。” 2012 年11 月，微软在中国天津的一次活动上公开演示了一个全自 动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完 成语音识别、英中机器翻译和中文语音合成，效果非常流畅。据报道， 后面支撑的关键技术也是DNN，或者深度学习（DL，DeepLearning）。 2013 年1 月，在百度年会上，创始人兼CEO 李彦宏高调宣布要 成立百度研究院，其中第一个成立的就是“深度学习研究所” （IDL， Institue of Deep Learning）。 为什么拥有大数据的互联网公司争相投入大量资源研发深度学习 技术。听起来感觉deeplearning 很牛那样。那什么是deep learning ？ 为什么有deep learning ？它是怎么来的？又能干什么呢？目前存在哪 些困难呢？这些问题的简答都需要慢慢来。咱们先来了解下机器学习 （人工智能的核心）的背景。 二、背景 机器学习（Machine Learning）是一门专门研究计算机怎样模拟或 实现人类的学习行为，以获取新的知识或技能，重新组织已