人工神经网络理论基础详解.ppt

神经网络理论基础 人工神经网络是近年来得到迅速发展的一个前沿课题。神经网络由于其大规模并行处理、容错性、自组织和自适应能力和联想功能强等特点，已成为解决很多问题的有力工具。本节首先对神经网络作简单介绍，然后介绍几种常用的神经网络，包括感知器（前向神经网络）、BPN（反向传播神经网络）和 Hopfield网络。 1 生物神经元 2 人工神经网络发展简史 3 人工神经网络结构 4 神经网络基本学习算法 1957年，F.Rosenblatt提出“感知器”(Perceptron) 模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。 20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。 1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。 1986年，Rumelhart和Meclelland提出多层网络的误差反传(back propagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。 自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。 2 生物神经元 生物神经元 突触信息处理 信息传递功能与特点 一、生物神经元 神经元是大脑处理信息的基本单元 人脑约由101l-1012个神经元组成，其中，每个神经元约与104-105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络 神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干 主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成 二、突触的信息处理 生物神经元传递信息的过程为多输入、单输出； 神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近； 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质； 突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。 三、信息传递功能与特点 具有时空整合能力 不可逆性，脉冲只从突触前传到突触后，不逆向传递 神经纤维传导的速度，即脉冲沿神经纤维传递的速度，在1—150m／s之间 信息传递时延和不应期，一般为0.3～lms 可塑性，突触传递信息的强度是可变的，即具有学习功能 存在学习、遗忘或疲劳（饱和）效应 对应突触传递作用增强、减弱和饱和 2、生物神经系统的六个基本特征： 1）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作用的； 5）一个神经元接受的信号的累积效果决定该神经元的状态； 6) 每个神经元可以有一个“阈值”。 3 人工神经网络结构 人工神经网络 人工神经元模型 常见的神经元激发函数 人工神经网络典型结构 一、人工神经网络 1.人工神经网络（Artificial Neural Network-ANN）常常简称为神经网络（NN），是以计算机网络系统模拟生物神经网络的智能计算系统， 是对人脑或自然神经网络的若干基本特性的抽象和模拟。 直观理解 神经网络是一个并行和分布式的信息处理网络结构 它一般由大量神经元组成 每个神经元只有一个输出，可以连接到很多其他的神经元 每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数 2.人工神经网络的基本特征 (1)结构特征—并行处理、分步式存储与容错性 (2)能力特征—自学习、自组织与自适应性 自适应性是指一个系统能改变自身的性能以适应环境变化的能力。 神经网络的自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于结定输入能产 生期望的输出，训练是神经网络学刁的途径，因此经常将学习与训练两 个词混用。 神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组织(或称重构)。 联想记忆 非线性映射 许多系统的输入与输出之间存在复杂的非线性关系，设计合理 的神经网络通过对系统输入输出样本对进行自动学习，能够以 任意精度逼近任意复杂的非线性映射。神经网络的这一优良性 能使其