deep leaning 学习笔记整理.pdfVIP

Deep Learning （深度学习）学习笔记整理系列 zouxy09@ /zouxy09 作者：Zouxy version 1.0 2013-04-08 声明： 1）该Deep Learning 的学习系列是整理自网上很大牛和机器学习专家 所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明 也参考原文献。 2 ）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有 详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博 主删除。 3 ）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正， 谢谢。 4 ）阅读本文需要机器学习、计算机视觉、神经网络等等基础（如果没 有也没关系了，没有就看看，能不能看懂，呵呵）。 5 ）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多 指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦（呵呵，好 高尚的目标啊）。请联系：zouxy09@ 目录： 一、概述 二、背景 三、人脑视觉机理 四、关于特征 4.1 、特征表示的粒度 4.2 、初级（浅层）特征表示 4.3 、结构性特征表示 4.4 、需要有多少个特征？ 五、Deep Learning 的基本思想 六、浅层学习（Shallow Learning ）和深度学习（Deep Learning） 七、Deep learning 与Neural Network 八、Deep learning 训练过程 8.1、传统神经网络的训练方法 8.2、deep learning 训练过程 九、Deep Learning 的常用模型或者方法 9.1、AutoEncoder 自动编码器 9.2、Sparse Coding 稀疏编码 9.3、Restricted Boltzmann Machine(RBM)限制波尔兹曼机 9.4、Deep BeliefNetworks 深信度网络 9.5、Convolutional Neural Networks 卷积神经网络 十、总结与展望 十一、参考文献和Deep Learning 学习资源 一、概述 Artificial Intelligence ，也就是人工智能，就像长生不老和星际漫游 一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进 步，但是到目前为止，还没有一台电脑能产生“ 自我”的意识。是的，在 人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了 这两者，它甚至都不能分辨一个喵星人和一个汪星人。 图灵（图灵，大家都知道吧。计算机和人工智能的鼻祖，分别对应 于其著名的“ 图灵机”和“图灵测试” ）在 1950 年的论文里，提出图灵试 验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。这 无疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半个 世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。这不仅 让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，相关领域是 “伪科学” 。 但是自 2006 年以来，机器学习领域，取得了突破性的进展。图 灵试验，至少不是那么可望而不可及了。至于技术手段，不仅仅依赖于 云计算对大数据的并行处理能力，而且依赖于算法。这个算法就是， Deep Learning。借助于 Deep Learning 算法，人类终于找到了如何处 理“抽象概念”这个亘古难题的方法。 2012 年6 月，《纽约时报》披露了Google Brain 项目，吸引了公 众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授 Andrew Ng 和在大规模计算机系统方面的世界顶尖专家JeffDean 共同 主导，用16000 个CPU Core 的并行计算平台训练一种称为“深度神经 网络” （DNN，Deep Neural Networks）的机器学习模型（内部共有10 亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知道， 人脑中可是有150 多亿个神经元，互相连接的节点也就是突触数更是如 银河沙数。曾经有人估算过，如果将一个人的大脑中所有神经细胞的轴 突和树