神经网络计算机的涅.pdfVIP

专栏 第 9 卷  第 10 期  2013 年 10 月 神经网络计算机的涅槃 1 1 2 陈云霁 　陈天石 　谭奥维 1中国科学院计算技术研究所 关键词 ：神经网络　深度学习　计算智能　体系结构 2法国国家信息与自动化研究所 通过计算来完成识别、理解、 知助手。 理 （如广告推荐、数据挖掘和视频 推理、记忆、学习、联想等一系列 图像自动标记），还是个人移动终 认知任务，是计算机科学的核心问 人工神经网络 端任务 （如语音识别和自动翻译）， 题，也是一个公认的难题。幸运的 都能看到人工神经网络的身影。以 是，自然界向我们提供了解决问题 人工神经网络是一类模仿生 深度信念网络(deep belief network, 的参考答案，即由大量神经元组成 物神经网络而构建的计算机算法 的系统——大脑。科学家通过借 的总称, 由若干人工神经元结点（以 鉴大脑中神经元的组织方式，提 下简称 “神经元”）互联而成。神 输出层 … 神经元 出了人工神经网络计算模型，来解 1 经元之间通过突触 两两连接，突 隐层 … 决各种认知问题。 触记录了神经元间联系的强弱 （权 神经元 伴随着人工神经网络研究的 值）。每个神经元可抽象为一个激 输入层 神经元 … 兴起，20 世纪80~90 年代曾兴起一 励函数，该函数的输入由与其相连 阵神经网络计算机 （或者说神经网 的神经元的输出以及连接神经元 图1　人工神经网络示意图 络硬件）的热潮。但没过多久，这 的突触共同决定。为了表达特定的 股潮流就逐渐褪去了。近年来，随 知识，使用者通常需要 （通过某些 DBN) 和卷积神经网络(convolu- 着深度学习和脑科学的发展，学术 特定的算法）调整人工神经网络中 tional neural network, CNN) 为代表 界和工业界又重新开始关注神经 突触的取值、网络的拓扑结构等， 的 “深度学习”（多层的神经网络）， 网络计算机。本文结合神经网络计 该过程称为 “学习”。在学习之后， 更是当前学术界和工业界流行的 算机的兴衰历程，试图回答一些有 人工神经网络可通过习得的知识 名词。例如，百度、微软、科大讯 意思的问题：为什么曾经衰败过的 来解决特定问题。 飞利用深度神经网络在语音识别 神经网络计算机现在又变得兴盛 学术界已经提出了许多不同 和图像处理方面做了许多有价值 了？过去的和未来的神经网络计算 的人工神经网络结构模型和算法。 的工作，现已经进入产品化阶段。 机有什么区别？只有很好地回答了 这些方法在对很多图像、声音和文 2011 年，谷歌和斯坦福大学合