神经网络培训.ppt

人工神经网络 (Artificial Neural Netwroks -----ANN) -----孙宝光 引 言 利用机器模仿人类的智能是长期以来人们认识自然、改造自然和认识自身的理想。 研究ANN目的： （1）探索和模拟人的感觉、思维和行为的规律，设计具有人类智能的计算机系统。 （2）探讨人脑的智能活动，用物化了的智能来考察和研究人脑智能的物质过程及其规律。 ANN的研究内容 （1）理论研究：ANN模型及其学习算法，试图从数学上描述ANN的动力学过程，建立相应的ANN模型，在该模型的基础上，对于给定的学习样本，找出一种能以较快的速度和较高的精度调整神经元间互连权值，使系统达到稳定状态，满足学习要求的算法。 （2）实现技术的研究：探讨利用电子、光学、生物等技术实现神经计算机的途径。 （3）应用的研究：探讨如何应用ANN解决实际问题，如模式识别、故障检测、智能机器人等。 研究ANN方法 （1）生理结构的模拟： 用仿生学观点，探索人脑的生理结构，把对人脑的微观结构及其智能行为的研究结合起来即人工神经网络（Artificial Neural Netwroks，简称ANN）方法。 （2）宏观功能的模拟： 从人的思维活动和智能行为的心理学特性出发，利用计算机系统来对人脑智能进行宏观功能的模拟，即符号处理方法。 ANN研究的目的和意义 (1)通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。 (2)争取构造出尽可能与人脑具有相似功能的计算机，即ANN计算机。 (3)研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。 神经网络研究的发展 (1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年，F.Rosenblatt等研制出了感知机(Perceptron）。 (2)低潮(70-80年代初): (3)第二次热潮 1982年，美国物理学家J.J.Hopfield提出Hopfield模型，它是一个互联的非线性动力学网络.他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质. 1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。1990年12月，北京召开首届学术会议。 人工神经网络研究的局限性 （1）ANN研究受到脑科学研究成果的限制。 （2）ANN缺少一个完整、成熟的理论体系。 （3）ANN研究带有浓厚的策略和经验色彩。 （4）ANN与传统技术的接口不成熟。 人工神经网络概述 什么是人工神经网络？ T.Koholen的定义：“人工神经网络是由 具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。” 二、神经元与神经网络 大脑可视作为1000多亿神经元组成的神经网络 从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质。 脑神经信息活动的特征 (1)巨量并行性。 (2)信息处理和存储单元结合在一起。 (3)自组织自学习功能。 神经网络基本模型 人工神经元，神经元的数学模型 其中j为阈值，wij为从神经元i到神经元j的连接权重因子，f( )为传递函数，或称激励函数。 神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑结构及学习方法。 人工神经网络的构成 1）前向网络 2）从输出到输入有反馈的前向网络 3) 层内互连前向网络 4) 相互结合型网络 BP神经网络及其原理 BP (Back Propagation)神经网络是一种神经网络学习算法。其由输入层、中间层、输出层组成的阶层型神经网络，中间层可扩展为多层。相邻层之间各神经元进行全连接，而每层各神经元之间无连接，网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，各神经元获得网络的输入响应产生连接权值（Weight）。然后按减小希望输出与实际输出误差的方向，从输出层经各中间层逐层修正各连接权，回到输入层。此过程反复交替进行，直至网络的全局误差趋向给定的极小值，即完成学习的过程。 BP 神经网络的信息处理方式具有如下特点: 1）信息分布存储。人脑存储信息的特点是利用突触效能的变化来调整存储内容， 即信息存储在神经元之间的连接强度的分布上， B P神经网络模