神经元网络 文献综述.doc

************************************* 神经元网络 *************************************摘　要 本文通过搜索与神经元网络相关的各种文献资料,学习研究现有神经元网络理论知识, 并集中的总结国内外相关研究和应用的现状,聚焦了当今社会对神经元网络的研究热点。本文综合前人研究成果,结合自身理解提出相关的问题和看法,并预测了神经元网络的发展趋势。 前　言 人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本处理单元,利用人工神经元，可以构成各种不同拓扑结构的神经网络。人工神经网络是在现代神经生物学研究基础上提出的模拟生物过程以反应人脑某些特性的计算结构。它不是人脑神经系统的真实描写，只是特的某种抽象、简化和模拟。 人工神经网络最有吸引力的特点就是它的学习能力。因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期， 涌现出无数的相关研究理论及成果，包括理论研究及应用研究。最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用人工神经网络模型对问题进行研究优化解决。但目前人工神经网络的研究还存在应用面窄、结果缺乏精确性、可信度等问题。本文将综述性的回顾该研究历史，并聚焦当今社会对神经元网络的研究热点，介绍相关研究理论及成果。同时对该研究中存在的部分问题提出看法和建议，提出神经网络未来发展趋势。 正　文 人工神经网络起源和发展 人工神经网络至今经历了萌芽期、第一高潮期、反思期、第二高潮期、再认识与应用期。 1)萌芽期（20世纪40年代）：1943 年心理学家W.McCulloch 和数学家W.Pitts 合作提出了最早的神经元数学模型（MP 模型，如图1 所示），开创了神经科学理论研究的时代。1949 年，心理学家Hebb 通过对大脑神经细胞学习和条件反射的观察与研究，提出了改变神经元连接强度的Hebb 规则。 2)第一高潮期（1950~1968）：1957 年，Rosenblatt 发展了MP模型，首次提出了模拟人脑感知和学习能力的感知器（Perceptron）概念，并给出了两层感知器的收敛定理，提出了引入隐层处理元件的三层感知器这一重要研究方向。1960 年，Widrow 提出了自适应线性元件（Adaline）模型及一种有效的网络学习方法，即通常所说的Widrow-Hoff 学习规则（也称δ学习规则）。 3)在第一次高潮期后历经反思期(1969~1982)，研究发现人们习以为常的普通知识和经验，计算机却很难学会。这就迫使人们去考虑一个问题：人脑的智能是否可以在机器中再现？ 4)而后进入第二次高潮期（1983~1990）：1982 年，美国加洲工学院的物理学家Hopfield 提出了一个用于联想记忆和优化计算的新途径—Hopfield 网络模型（HNN），使神经网络的研究有了突破性的进展。在1984 年发表的另一篇重要论文中，Hopfield 指出HNN 可以用集成电路实现，很容易被工程技术人员及计算机科技工作者理解。这些具有开创性的研究成果和有意义的工作为神经网络的发展奠定了理论基础。Rumelhart 和McClelland领导的PDP研究小组于1986 年的《并行分布处理》一书，在全面介绍了着重于认知微观结构的PDP 理论的同时，他们发展了多层网络的BP 算法（反向传播算法）。迄今为止，BP 网络仍是应用最普遍的网络模型。随着神经网络研究热潮的出现，不同学科的学者开始联合起来从事神经网络理论、应用开发及实现的研究，国际学术交流日益频繁。1986年 4 月美国物理学会在Snowbirds 召开了国际神经网络会议。1987 年6 月在美国的San Diego 召开了第一届神经网络国际会议。国际神经网络学会（INNS）随之成立。1988 年《神经网络》（《Neural Networks》）杂志创刊。自1988 年起INNS 和IEEE 联合开始召开每年一次的国际学术会议（后改为一年两次）。1990 年3 月，IEEE 神经网络会刊问世。 5)从1991年至今，人工神经网络的研究进入再认识与应用期。 我国的神经网络研究开始于 1988 年前后，并在基础与应用领域开展了一些工作。1989 年召开了全国第一届神经网络——信号处理会议。1990 年、1991 年分别召开了中国第一届、第二届神经网络学术大会。1992 年在北京召开了国际神经网络学会和IEEE 神经网络委员会的联合学术会议，2005年神经网络国际会议(Second International Symposiumon