深度学习汇报资料.pptxVIP

Deep Learning 深度学习 单东晶 2015.12.7 目录 背景 人脑视觉机理 3 2 深度学习 4 概述 Artificial Intelligence，人工智能，虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。 图灵在 1950 年的论文里，提出图灵试验的设想，即隔墙对话，检验计算机的人工智能水平。目前计算机无法通过图灵测试。 2006 年以来，机器学习领域取得了突破性的进展。 借助于 Deep Learning 算法，人类终于找到了如何处理“抽象概念”这个亘古难题的方法。 实例1-Google Brain 2012年6月，《纽约时报》披露了Google Brain项目。 使用了16000个CPU Core的并行计算平台训练一种称为“深度神经网络”（DNN，Deep Neural Networks）的机器学习模型（内部共有10亿个节点），在语音识别和图像识别等领域获得了巨大的成功。 Google Brain 直接把海量数据投放到算法中，让数据自己说话，系统会自动从数据中学习。 例如在识别猫的训练中，训练的时候从来不会告诉机器说：‘这是一只猫。’系统是通过海量的数据学习自己发明或者领悟了“猫”的概念。 实例2-微软同声传译 2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅。后面支撑的关键技术也是DNN，或者深度学习（DL，DeepLearning）。 实例3-百度深度学习研究院 2013年1月，在百度年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个成立的就是“深度学习研究所”（IDL，Institue of Deep Learning） 其中有个‘百度大脑’的项目，用Deep-learning技术模拟人脑思维，现在大约已经相当于2~3岁孩子的智力水平。 百度的语音和图像产品的崛起，正是受益于Deep Learning领域的技术突破。 百度语音助手、百度识图等，都使用了深度神经网络技术来。 目录 人脑视觉机理 3 深度学习 4 背景 机器学习虽然发展了几十年，但还是存在很多没有良好解决的问题：例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等等。 机器学习解决这些问题的传统思路： 通过传感器（例如CMOS）来获得数据，经过预处理、特征提取、特征选择，再到推理、预测或者识别。 中间的三部分，概括起来就是特征表达。良好的特征表达，对最终算法的准确性起了非常关键的作用。实际中一般都是人工完成的，依靠人工提取特征。 好的特征具有不变性（大小、尺度和旋转等）和良好的可区分性。 然而手工地选取特征是一件非常费力、启发式（需要专业知识）的方法。 能否设计算法自动学习特征？ 目录 深度学习 4 人脑视觉机理 1981 年的诺贝尔医学奖，颁发给了 David Hubel（出生于加拿大的美国神经生物学家） 和TorstenWiesel，以及 Roger Sperry。前两位的主要贡献，是“发现了视觉系统的分层信息处理机制”。 神经-中枢-大脑的工作过程，是一个不断迭代、抽象的过程。 从原始信号，做低级抽象，逐渐向高级抽象迭代。人类的逻辑思维，经常使用高度抽象的概念。 人脑视觉抽象过程 抽象的意义： 抽象层面越高，存在的可能猜测就越少，就越利于分类。 从原始信号摄入开始（瞳孔摄入像素 Pixels） 初步处理（大脑皮层某些细胞发现边缘和方向） 抽象（大脑判定物体的局部轮廓等）， 进一步抽象（大脑识别人脸）。 抽象的意义 抽象的数学模型-稀疏编码 稀疏编码（图像） 从未标注的声音中提取20种基本的声音结构，其余的声音可以由这20种基本结构合成。 稀疏编码符合对人脑视觉系统的生理发现，外界信号一般会刺激相应的脑神经元。 稀疏编码（音频） 问题是怎样获得抽象的分层特征？？ 目录 Deep Learning基本思想 通过无监督的方式学习原始数据的多层特征表示。 假设一个系统S，有n层（S1,...Sn），输入是I，输出是O，如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示，也就是我们需要的抽象出来的特征。 Deep Learning的常用模型 AutoEncoder自动编码器 Sparse AutoEncoder稀疏自动编码器 Denoising AutoEncoders降噪自动编码器 Restricted Boltzmann Machine (RBM)限制波尔兹曼机 Deep Belief Networks深信度网络 AutoEncoder数学模型 可