神经网络七十年：回顾及展望.pdf

第39 卷 计 算 机 学 报 Vol. 39 20 16 CHINESE JOURNAL OF COMPUTERS 20 16 神经网络七十年：回顾与展望 1) 1) 2) 1) 1) 焦李成 杨淑媛 刘芳 王士刚 冯志玺 1)(西安电子科技大学智能感知与图像理解教育部重点实验室、国际智能感知与计算联合研究中心、国际智能感知与计算联合实验室, 西安 710071) 2) (西安电子科技大学计算机学院, 西安 710071) 摘 要 作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是 人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。在七十年的发展历程中，神经网络曾历经质疑、批判与 冷落，同时也几度繁荣并取得了许多瞩目的成就。从上世纪四十年代的 M-P 神经元和 Hebb 学习规则，到五十年代的 Hodykin-Huxley 方程、感知器模型与自适应滤波器，再到六十年代的自组织映射网络、神经认知机、自适应共振网络，许多 神经计算模型都发展成为信号处理、计算机视觉、自然语言处理与优化计算等领域的经典方法，为该领域带来了里程碑式的 影响。目前，模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的 “深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高 潮。本文回顾了神经网络的发展历程，综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。 关键词 类脑智能；神经网络；深度学习；大数据；并行计算 中图法分类号 TP18 Seventy Years beyond Neural Networks ：Retrospect and Prospect JIAO Li-Cheng1) YANG Shu-Yuan1) LIU Fang2) WANG Shi-Gang1) FENG Zhi-Xi1) 1)(Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education, International Research Center for Intelligent Perception and Computation, International Collaboration Joint Lab in Intelligent Perception and Computation, Xidian University, Xi’an, 710071) 2)(School of Computer Science, Xidian University, Xi’an, 710071) Abstract As a typical realization of connectionism intelligence, neural network, which tries to mimic the information processing patterns in the human brain by adopting broadly interconnected structures and effective learning mechanisms, is an important branch of artificial i