人工神经网络理论基础.pptxVIP

人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。本节首先对神经网络作简单介绍，然后介绍几种常用的神经网络，包括感知器（前向神经网络）、BPN（反向传播神经网络）和 Hopfield网络。 ;1 生物神经元 2 人工神经网络发展简史 3 人工神经网络结构 4 神经网络基本学习算法;1 人工神经网络发展简史;1957年，F.Rosenblatt提出“感知器”(Perceptron) 模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。 20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。 ;1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。 1986年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。 ;自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。 ;2 生物神经元;一、生物神经元; 生物神经元网络结构 ;生物学研究表明一些神经结构是与生俱来的，而其他部分则是在学习的过程中形成的。 在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。;二、突触的信息处理;三、信息传递功能与特点 ;2、生物神经系统的六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。;3 人工神经网络结构; 1.人工神经网络??Artificial Neural Network-ANN）常常简称为神经网络（NN），是以计算机网络系统模拟生物神经网络的智能计算系统， 是对人脑或自然神经网络的若干基本特性的抽象和模拟。 ; 直观理解 神经网络是一个并行和分布式的信息处理网络结构 它一般由大量神经元组成 每个神经元只有一个输出，可以连接到很多其他的神经元 每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数 ;2.人工神经网络的基本特征 (1)结构特征—并行处理、分步式存储与容错性 (2)能力特征—自学习、自组织与自适应性 自适应性是指一个系统能改变自身的性能以适应环境变化的能力。 神经网络的自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于结定输入能产 生期望的输出，训练是神经网络学刁的途径，因此经常将学习与训练两 个词混用。 神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组织(或称重构)。 ;联想记忆 非线性映射 许多系统的输入与输出之间存在复杂的非线性关系，设计合理 的神经网络通过对系统输入输出样本对进行自动学习，能够以 任意精度逼近任意复杂的非线性映射。神经网络的这一优良性 能使其可以作为多维非线性函数的通用数学模型 分类与识别 对输入样本的分类实际上是在样本空间找出符合分类要求的分 割区域，每个区域内的样本属于一类。客观世界中许多事物在 样本空间上的区域分割曲面是十分复杂的，神经网络可以很好 地解决对非线性曲面的逼近，因此具有很好的分类与识别能力 优化计算 知识处理; 1943，神经生理学家 McCulloch 和数学家 Pitts 基于早期神经元学说，归纳总结了生物神经元的基本特性，建立了具有逻辑演算功能的神经元模型以及这些人工神经元互联形成的人工神经网络，即所谓的 McCulloch-Pitts 模型。;MP模型：; MP模型; MP模型;激发函数的基本作用 控制输入对输出的激活作用 对输入、输出进行函数转换 将可能无限域的输入变换成指定的有限范围内的输出 ;例、实现逻辑函数“与门”（AND gate）运算。 1 —真，0—假;三、常见的神经元激发函数;1、对称型Sigmoid函数 ;2、非对称型Sigmoid函数;3、对称型阶跃函数函数;4