人工神经网络发展历史与训练算法概述.docx

人工神经网络发展历史与训练算法概述 摘 要 人工智能在广义上分为以下两方面：知识推理和知识决策，相对应的技术分别为知识图谱技术与人工神经网络技术。文章对人工神经网络的历史进行了回顾，引进了几个较为经典的人工神经网络的算法，并在此基础上论述了其影响。最后，对人工神经网络的前景做出了评断。 关键词 人工神经网络；BP算法 中图分类号 TP2 文献标识码 A 文章编号 1674-6708（2018）222-0129-02 以一己之力战胜两位世界级围棋高手李世石及柯洁的Alpha Go的横空出世，不仅仅吸引了相应人才从事此方面的研究，更显示了其的巨大潜力。而Alpha Go能战胜这两位围棋中顶级选手，与其采用了人工神经网络不无关联。而人工神经网络是一门结合了众多学科的内容而发展起来的一门新的信息处理学科。 1 人工神经网络的发展历史 1）起源。人工神经网络最初是由科研工作者根据生物神经网络的特点而创造出来的一种可以进行简单信息处理的模型。生物神经网络（Biological Neural Networks）以神经元为骨架，通过神经元彼此之间的连结形成了一个完整的能对所给刺激产生反应的系统。人工神经网络就是类比生物神经网络的这个可以进行信息处理的原理而制造出来的。用节点替代神经元，且每个节点代表一种固定的函数，节点之间彼此联接形成一个庞大的网状系统，可处理一些信息。综合人工神经网络的起源、特点及定义，它可以用这样一句话概括：人工神经网络是一种信息处理系统，目的在于模仿人类大脑的相应结构及其相关功能[ 1 ]。 2）摸索阶段。历史上第一个提出人工神经网络设想并藉此制造出了第一个模型的是心理学家W.S.McCulloch和数理逻辑学家Wapitis。他们提出的模型就是MP模型，而MP模型的建立不仅证明了单个神经元执行逻辑功能的可行性，还带来对人工神经网络研究的热潮。因此W.S.McCulloch和Wapitis被后来者尊称为人工神经网络研究的先驱。但是当时的人工神经网络只是一个胚胎，甚至只能说是一个大胆的猜想，缺乏相应的理论支持。 50年代末，F?罗森布拉特提出并设计了感知机。60年代初，Windrow提出了一种自适应线性元件网络，这两项工作第一次将人工神经网络的研究成果应用到实践中[7]。而他们的成功也激励了其他众多科学家，提高了他们对人工神经网络的研究兴趣。但是当时有学者指出感知机本身存在问题，且该问题的不可解决性，再加上当时正值计算机高速发展、各种研究成果竞相发表的时期，众多科学研究者纷纷转向计算机的研究，因此人工神经网络的研究被搁置。人工神经网络的发展也停滞不前。 3）高速发展阶段。1982年及1984年，美国加州工学院物理学家J.J.Hopfield先后提出了Hopfield神经网格模型与连续时间Hopfield神经网络模型，这两项研究解决了感知机所存在的不能解决高阶谓词的问题，为人工神经网络的研究提供了一个新思路。随后，一些学者提出了玻尔兹曼模型。这三项研究不仅为人工神经网络的发展做了开拓性的研究，更是使人工神经网络这个备受冷落的研究项目重新回到科研人员的视野中。也正是有这些科学工作人员的一个又一个的研究成果，才能令人工神经网络从原本不被重视的状态扭转为当时备受人们追捧的状态。 1991年，Aihara等基于之前的推导和实验，提出了一个混沌神经元模型。1997年，Hochreiter和Schmidhuber提出了长短期记网络。等等，诸如此类的研究的提出，足以论证人工神经网络发展的迅猛及其科学研究热潮的来临。 2 人工神经网络的理论算法 1）BP网络。1986年由Rumelhart和McClelland为首的科学家们给出的BP神经网络算法虽然存在一些缺陷，但是BP算法理论依据坚实、推导过程严谨等特点，还是让BP算法成为人工神经网络算法中较为经典的，也是使用最普遍的神经网络模型之一[6]。 传统的BP算法本质上是一种学习方法，它将一组样本输入/输出问题转换为非线性优化问题，并通过负梯度下降算法通过迭代操作解决权重问题，但其收敛速度较慢，易陷入局部最优解为此方法较为突出的问题。为解决此问题，提出了一种新的高斯消元法。 2）离散Hopfield神经网络。Hopfield首先提出的网络是一种二值神经网络，所谓二值就是神经元的输出只取这两个值，1和0，因此也称它为离散Hopfield神经网络。离散HopfieId网络使用的神经元为二元神经元，因此输出的1和0分别代表该神经元的激活和抑制 对于离散Hopfield网络，网络状态是一组输出神经元信息。对于输出层是N个神经元的网络，T矩是n维向量。 因此，网络状态有2n种状态，因为Yj（t）（j = 1N）可以取值为1或0，因此，n维向量Y（t）有2n种状态，即网络状态。 3 人工神经网络的发展现状