北京交通大学研究生课程(神经网络、模糊控制及专家系统)第五章要点详解.ppt

四、多层传播网络的学习算法 四、多层传播网络的学习算法 四、多层传播网络的学习算法 四、多层传播网络的学习算法 四、多层传播网络的学习算法 四、多层传播网络的学习算法 第三节 动态神经网络模型 前向传播网络：网络运行是单向传播，没有反馈，是一个非 线性的映射系统，而不是一个非线性的动力 学系统。（静态系统） 由简单非线性神经元互连而成的反馈动力学神经网络系 统具有如下两个重要特征： 1、系统具有若干个稳定状态，如果从某一初始状态开始运动，系统总可以进入某一稳定状态。 2、系统的稳定状态可以通过改变相连单元的权值而产生。 稳定性是动态神经网络的重要性质，而能量函数是判定网络稳定性的基本概念。神经网络由任一初始状态向稳态的演化过程，实质上是寻找记忆的过程。 定义：神经网络从任一出态X(0)开始运动，若存在某一 有限的时刻ts，从ts以后神经网络的状态不再发 生变化，即X(ts+△t)=X(ts)， △t＞0，则称网 络是稳定的。处于稳定时刻的网络状态叫稳定状 态，又称定点吸引子。 神经动力学系统应该具有如下三点共性： ⑴非常大的自由度 ⑵非线性 ⑶消耗性 一、带时滞的多层感知器网络 二、霍普菲尔特网络 一、带时滞的多层感知器网络 一、带时滞的多层感知器网络 二、霍普菲尔特网络 1、二值型的霍普菲尔特网络（简称DHNN） 这种网络结构只有一层神经元，整个网络的状态由单一神经元组成。通常二值型的霍普菲尔特网络可用如下节点方程式来描述： 二、霍普菲尔特网络 二、霍普菲尔特网络 二、霍普菲尔特网络 张严心 2015 研究生课程 神经网络、模糊控制及专家系统 第五章 人工神经元网络模型 第六章 神经网络控制论 第三部分 神经网络控制 第五章 人工神经元网络模型 引言 前向神经网络模型 动态神经网络模型 NJTU 第一节 引言 一、神经元模型 二、神经网络的模型分类 三、神经网络的学习算法 四、神经网络的泛化能力 人工神经网络的定义 人工神经网络就是模拟人脑细胞的分布式工作特点和自组织功能实现并行处理、自学习和非线性映射等能力。因此是一种典型的智能控制方法。 第一节 引言 人工神经网络 模糊控制 机器模拟人脑的感知、推理等智能行为 人工模拟人脑的工作机理（人脑的生理学和心理学） 第一节 引言 从网络结构分类： 共性： 三个研究内容： 从神经元模型分类： 非线性动力学系统快速并行处理能力自学习能力 神经元模型 神经网络结构 神经网络学习方法 线性处理单元 非线性处理单元 前向网络 反馈网络 自组织网络 一、神经元模型 是生物神经元的抽象和模拟，是模拟生物神经元的结构和功能、并从数学角度抽象出来的一个基本单元。 第一节 引言 神经元一般是多输入-单输出的非线性器件。 第一节 引言 一、神经元模型 第一节 引言 一、神经元模型 第一节 引言 根据连接方式的不同神经网络可以分为以下四种形式： 二、神经网络的模型分类 网络模型可分为： ⑴神经元层次模型 ⑵组合式模型 ⑶网络层次模型 ⑷神经系统层次模型 ⑴前向（馈）网络 ⑵反馈网络 ⑶相互结合型网络 ⑷混合型网络神经 二、神经网络的模型分类 全互连 局部互连 ⑴前向（馈）网络 ⑵反馈网络 ⑶相互结合型网络 ⑷混合型网络 三、神经网络的学习算法 学习的过程实质上是针对一组给定输入 使网络产生相应的期望输出的过程。 神经网络的学习算法分为有导师学习和无导师学习两大类。 有导师学习：是在训练过程中，始终存在一个期望的网络输出，期望输出和实际输出之间的距离作为误差度量并用于调整权值。 无导师学习：指的是网络不存在一个期望的输出，因而没有直接的误差信息，因此，为实现对网络的训练需建立一个间接的评价函数，以对网络的某种行为趋向作出评价。学习规则根据连接权系数的改变方式不同又可分为三类：相关学习、纠错学习和无导师学习。 四、神经网络的泛化能力 当输入矢量带有噪声时，即与样本输入矢量存在差异时，其神经网络的输出同样能够准确地呈现出应有的输出。这种能力就称为泛化能力。 例：在有导师指导下的学习中，泛化能力可以给出定量的定义。在具有某一个概率分布的样本中随机选取一部分作为神经网络的训练样本，并且首先对这一组样本进行网络训练最终得出神经网络输出的误差e1，然后再从全体样本数据中随机选取另一组输入输出数据。用这一批数据对已经训练好的神经网络进行校对，记下它们的校对误差即神经网络的实际输出与期望输出之差e2，那么，定义∣e1-e2∣为此神经网络的泛化能力。 四、神经网络的泛化能力 第二节 前向神经