CH5第3讲人工神经网络.pptVIP

人工神经网络方法及应用 引 言 利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。 研究ANN目的： （1）探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。 （2）探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。 研究ANN方法 （1）生理结构的模拟： 用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络（Artificial Neural Netwroks，简称ANN）方法。 （2）宏观功能的模拟： 从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。 ANN的研究内容 （1）理论研究：ANN模型及其学习算法，试图从数学上描述ANN的动力学过程，建立相应的ANN模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。 （2）实现技术的研究：探讨利用电子、光学、生物等技术实现神经计算机的途径。 （3）应用的研究：探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。 人工神经网络概述 什么是人工神经网络？ T.Koholen的定义：“人工神经网络是由 具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。” 脑神经信息活动的特征 (1)巨量并行性。 (2)信息处理和存储单元结合在一起。 (3)自组织自学习功能。 ANN研究的目的和意义 (1)通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。 (2)争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。 (3)研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。 神经网络研究的发展 (1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。 (2)低潮(70-80年代初): (3)第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。 神经网络基本模型 人工神经网络研究的局限性 （1）ANN研究受到脑科学研究成果的限制。 （2）ANN缺少一个完整、成熟的理论体系。 （3）ANN研究带有浓厚的策略和经验色彩。 （4）ANN与传统技术的接口不成熟。 基本BP网络的拓扑结构 输入函数 输入区的功能是将输入信号b的各分量以一定的规则综合成一个总输入值p，不同的网络和不同性质的神经元采用不同的综合规则，综合规则可以形式化为用某个输入函数表示，最常用的输入函数是“加权和”形式，如下所示： 活化函数 活化函数分为线性与非线性，最简单的线性活化函数就可以采用恒同函数；而非线性活化函数中的常用函数即是Sigmoid函数，具有这种活化功能的神经元组成的神经网络具有强大的表达能力。 a=g(p)=1/(1+exp(-cp)) 前馈式神经网络 各种神经元以层状方式组成前馈式神经网络。每一层由多个节点（神经元）组成，每层中的节点与相邻层中的节点通过权值连接；但与同层中的其他节点和非相邻层中的节点没有连接。第一层为输入层，最后一层为输出层，中间为隐层。神经元的输入函数为“加权和“的形式，输出函数为恒同函数，活化函数为S型函数。 前馈式神经网络的逼近能力 前馈式神经网络的输入输出关系，可以看成是一种映射关系，即每一组输入对应着一组输出。由于网络中神经元的活化函数的非线性，使网络实现的是复杂的非线性映射。 Hornik的等人的研究还表明三层前馈式神经网络不仅能以任意精度逼近任意函数，还能以任意精度逼近其各阶导数。 BP算法 Rumelhart和McClelland领导的PDP小组提出了前馈式神经网络的学习算法，即BP算法，解决了多层网络的学习问题，从实践上证实了人工神经网络具有很强的运算能力，使BP算法成为前馈式神经网络的经典算法。 BP算法