深度学习笔记资料.ppt

* 总的来说，人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。 * V1取提出的basis是边缘，然后V2层是V1层这些basis的组合，这时候V2区得到的又是高一层的basis。 找到make sense的小patch再将其进行combine，就得到了上一层的feature，递归地向上learning feature。 在不同object上做training是，所得的edge basis 是非常相似的，但object parts和models 就会completely different了 * 深度学习概述 （2014.10.12 ） 深度学习笔记 汇 报 提 纲 一、Introduction 二、Background 三、 Deep Learning 四、 Shallow Learning and DL 五、 DL and Neural Network 六、Examples 一、概述 图灵（计算机和人工智能的鼻祖，分别对应于其著名的“图灵机”和“图灵测试”）在 1950年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。 自2006 年以来，机器学习领域，取得了突破性的进展。图灵试验，至少不是那么可望而不可及了。至于技术手段，不仅仅依赖于云计算对大数据的并行处理能力，而且依赖于算法。这个算法就是，Deep Learning。 2012年6月，《纽约时报》披露了Google Brain项目，引起广泛关注。 2012年11月，微软公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅。支撑的关键技术：DNN或者深度学习（DL，Deep Learning）。 2013年1月，在百度年会上，宣布要成立百度研究院，首先要成立“深度学习研究所”（IDL，Institue of Deep Learning） 1.引言 一、概述 Andrew Ng和Jeff Dean 用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”（DNN，Deep Neural Networks）的机器学习模型在语音识别和图像识别等领域获得了巨大的成功。 DNN内部共有10亿个节点，而人的大脑有150多亿个神经元，互相连接的节点也就是突触数更多。 Andrew：没有自己框定边界，而是直接把海量数据投放到算法中，让数据自己说话，系统会自动从数据中学习。 Jeff：在训练的时候从来不会告诉机器说：‘这是一只猫。’系统其实是自己发明或者领悟了“猫”的概念。 2. Google Brain 二、背景 1. Machine Learning 机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。 机器学习应用：图像识别、语音识别、自然语言理解、基因表达、内容推荐、天气预测等等。 二、背景 特征表达 （以视觉感知为例）传感器（例如CMOS）来获得数据— 预处理—特征提取—特征选择—推理、预测或者识别。 系统主要的计算和测试工作主要耗在特征表达部分。 但实际中这部分一般都是靠人工提取特征。 2. 机器学习思路 二、背景 好特征有：不变性（大小、尺度和旋转等）和可区分性 例如：Sift：对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性 3. 特征表达方法 二、背景 问题：手工选取特征是一件非常费力、启发式（需要专业知识）的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间。 自动地学习一些特征— Deep Learning ( Unsupervised Feature Learning) Unsupervised的意思就是不要人参与特征的选取过程。 4. 深度学习 机器学习技术 两次浪潮 ? 2010 第二次浪潮 深度学习 1990 第一次浪潮 浅层学习 三、Deep Learning 1. 人脑视觉机理 研究瞳孔区域与大脑皮层神经元的对应关系—神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。 —从原始信号，做低级抽象，逐渐向高级抽象迭代。人类的逻辑思维，经常使用高度抽象的概念。 人的视觉系统的信息处理是分级的。 瞳孔摄入像素 初步处理： （大脑皮层某些细胞）发现边缘