深度学习-科学网—博客.PDF

动态 第 9 卷  第 7 期  2013 年 7 月 深度学习——机器学习领域的新热点 胡晓林　朱　军 关键词 ：深度学习 清华大学 深度学习目前受到了前所未有的关注。多家重 工智能领域的重要影响力——他是人工智能的奠基 要的信息技术公司 （如微软、谷歌等）相继宣布在 人之一、并于1969 年获得图灵奖，这本书令人工 语音识别、图像处理等应用领域取得突破性进展 ； 神经网络的研究进入了长达 10 多年的 “冬天”。事 重要媒体 （如 《纽约时报》）对此多次宣传报道 ；百 实上，如果把单层感知机堆成多层 （称为多层感知 度公司还在20 13 年1 月成立了深度学习研究院(the 机，如图1 所示），是可以求解线性不可分问题的。 Institute of Deep Learning, IDL) 。《东方早报》对此 然而当时缺乏有效的算法，尽管 1974 年哈佛大学 评论道 ：“IDL 燃起的这把新火苗势必将在这个寒冬 的博士生保罗 ·维博思(Paul Werbos) 提出了比较有 [2] 里点燃中国移动互联网的生机。”那么，深度学习 效的反向传播(back propagation, BP) 算法 ，但并 到底是什么？它能担当起这一重任吗？要弄明白这 没有引起学术界的重视。直到1986 年加拿大多伦 些问题，还得从人工神经网络说起。 多大学的杰夫 ·希顿(Geoff Hinton) 等人重新发现 深度学习的前世今生 输出层 多层感知机 人工神经网络起源于20 世纪40 年代，至今已 有70 年历史。第一个神经元模型是 1943 年麦卡洛 克(McCulloch) 和皮茨(Pitt s) 提出的，称为阈值逻 隐层 辑(threshold logic) ，它可以实现一些逻辑运算的功 能。1958 年罗森布拉特(Ro senblatt) 提出了简单的 神经网络模型——感知机(perceptron) ，本质上这是 一个线性分类器。1969 年明斯基(Minsky) 和帕拍特 (P apert) 在所著的《感知机》中指出 ：(1) 单层感知 输入层 机不能实现 “异或”(X OR) 功能 （即不能解决线性 图1　 多层感知机 （每个神经元接受下层神经元的输入 ， 不可分问题）；(2) 计算机能力有限，不能处理神经 1 与对应的权值相乘并加上一个偏置，通过sigmoid 函数转换 网络所需要的长时间运行过程[1] 。鉴于明斯基在人 后将值传给上层神经元 ） 1 即f(x)=1/(1 exp(-x)) ，神经元的非线性作用函数。 64 第 9 卷  第7 期  2013 年 7 月 （如图2 所示），本质上是一个概率图模型。输入层 隐层 与隐层之间是全连接，但层内神经元之间没有相 互连接。每个神经元要么激活