神经网络的一般性介绍和局部搜索训练算法.pptVIP

神经网络的一般性介绍及局部搜索训练算法 报告人 谭松波 时间 2004-3-18 主要内容 人工神经网络的发展过程 人工神经网络的基本原理 前馈式神经网络模型及经典算法 局部搜索训练算法 人工神经网络是目前国际上信息领域中迅速发展的前沿研究方向之一，具有广泛的应用前景。对它的研究已取得了很多丰硕的成果。神经网络系统是由大量简单的处理单元（即神经元）广泛连接而成的复杂网络系统。它反映了人脑功能的许多基本特性，但它并不完全是人脑神经网络系统的真实写照，而只是对其作某种简化、抽象和模拟。 神经网络的发展历史 神经网络的研究已有50多年的历史，它的发展道路是曲折的，几经兴衰，目前已在许多领域得到了成功的应用。 人工神经网络的研究始于本世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作，融合了生物物理学和数学，提出了第一个神经元计算模型—MP模型。这种单个神经元模型功能较弱，但连接而成的网络记忆能力巨大。这种巨大的记忆能力存储在网络中足够多的神经元之间丰富的连接强度上。 MP模型虽然简单，但它开创了神经网络模型的理论研究，为各种神经元模型及网络模型的研究打下了基础。 1949年心理学家Hebb提出神经元之间突触联系强度可变的假设。他认为学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。根据这一假说提出了改变神经元连接强度的Hebb规则。它对以后人工神经网络的结构及算法都有很大影响。直到现在，Hebb的学习算法仍在不少人工神经网络中应用。 50年代末，Rosenblatt提出感知器模型，第一次把神经网络的研究付诸工程实践。这是一种学习和自组织的心理学模型，它基本上符合神经生理学的知识，模型的学习环境是有噪声的，网络构造中存在随机连接，这符合动物学习的自然环境。这是第一个真正的人工神经网络，他给出了两层感知器的收敛定理。后来的一大类神经网络模型都是感知器模型的变形。 60年代末，美国著名人工智能学者Minsky和Papart对Rosenblatt的工作进行了深入的研究，写了很有影响的《感知器》一书，指出感知器的处理能力有限，单层感知器只能作线性划分，对于非线性或其他分类会遇到很大的困难。这时应采用含有隐单元的多层神经网络，但引入隐单元后找到一个有效的学习算法非常困难，Minsky断言这种感知器无科学研究价值可言，包括多层的也没有什么意义。 这个结论对当时的神经网络研究无疑是一个沉重的打击，客观上对神经网络的研究起了一定的消极作用。同时当时的微电子技术也无法为神经网络的研究提供有效的技术保障。故在其后的十几年内，从事神经网络研究的人数及经费支持大大下降，神经网络研究处于低潮。 然而在此期间，仍有为数不多的学者致力于神经网络的研究，1969年Grossberg等提出了自适应共振理论模型。1972年Kohenen提出自组织映射的理论模型，并称神经网络为联想存贮器。所有这些理论为神经网络的进一步发展奠定了理论基础。 1982年，美国加州工程学院物理学家Hopfield提出了一个用于联想记忆及优化计算的新途径—Hopfield模型，并于1984年进行修改，提出了利用模拟电路的基础元件构成了人工神经网络的硬件原理模型，为实现硬件奠定了基础。1985年Hopfield和Tank提出用神经网络解决优化问题。 这一时期还有一个以Rumelhart和McClelland 为首的并行分布处理（PDP）的研究小组，他们提出了多层网络学习的误差反向传播学习算法（BP算法），解决了多层网络的学习问题，从实践上证实了人工神经网络具有很强的学习能力，并不象Minsky等人预料的那样弱，相反它可以完成许多学习任务，解决许多实际问题，也因此推动了前馈式神经网络的研究。BP算法目前已成为迄今为止应用最普遍的神经网络学习算法。 人工神经元的模型 输入函数 输入区的功能是将输入信号b的各分量以一定的规则综合成一个总输入值p，不同的网络和不同性质的神经元采用不同的综合规则，综合规则可以形式化为用某个输入函数表示，最常用的输入函数是“加权和”形式，如下所示： 活化函数 活化函数分为线性与非线性，最简单的线性活化函数就可以采用恒同函数；而非线性活化函数中的常用函数即是Sigmoid函数，具有这种活化功能的神经元组成的神经网络具有强大的表达能力。 a=g(p)=1/(1+exp(-cp)) 前馈式神经网络 各种神经元以层状方式组成前馈式神经网络。每一层由多个节点（神经元）组成，每层中的节点与相邻层中的节点通过权值连接；但与同层中的其他节点和非相邻层中的节点没有连接。