人工神经元网络模型.pptVIP

第四章 人工神经元网络模型 神经元模型 前向神经网络模型 动态神经网络模型 　单一神经元的输入项Net由输入信号的线性组合构成，即　　式中，为阈值； 是决定第 个输入的突触权系数。式中，　　表示神经元激励函数。　如果输出变量　是一个二值元素，则在平衡点　　　　　 表示兴奋状态，　　　　表示抑制状态。 二、单层神经网络结构　单层神经网络结构是由　个输入单元和　个输出单元组成的，见下图。 隐含层单元与输入单元之间通过突触权系数　连接，并可用矩阵　表示全部的连接关系，隐含单元与输出单元通过突触权系数　表示，全部连接关系可用矩阵　记之。 很显然，隐含单元输出　　是输入矢量　 和它们之间的突触权系数　 的函数 。突触权系数　　由学习算法来训练。 根据　层网络结构可知，网络的输出为 BP学习算法——误差反向传播学习算法 定义 　反馈的引入是构成动态神经网络的基础。反馈网络的一个重要特征是系统具有稳定状态。动态神经网络的典型代表是Hopfitlol网络、带时滞的多层感知器网络、回归神经网络等等。 结 论 增加隐含层的数目并不一定意味着能够改善逼 近精度； 传统的BP学习算法在极值点附近训练速度相当 慢； 如果神经网络的训练结果不够理想，应该重新 对神经网络进行训练； 当输入信号与训练的样本信号相距较远时，神 经网络的输出可能会产生完全不准确的结果； 第三节　动态神经网络模型 虽然前向传播网络是一种强有力的学习系统，系统结构简单且易于编程，但其并不注重系统的动力学行为，而现实世界中的许多系统恰恰是非线性动态系统，如何利用神经网络实现动态系统的逼近和控制？ 问题的提出 解决方法 研究反馈动力学神经网络模型 由简单非线性神经元互连而成的反馈动力学神经网络系统具有如下两个重要的特征。1）系统有若干个稳定状态。如果从某一初始状态开绐运动，系统总可以进入某一稳定状态。2）系统的稳定状态可以通过改变相连单元的权值而产生。 因此，神经网络的设计和应用必须建立在对其动力学特性的理解的基础上，稳定性是其重要性质，而能量函数是判定网络稳定性的基本概念。 稳定性——神经网络从任一初态X（0）开绐运动，若存在某一有限的时刻　。从 以后神经网络的状态不再发生变化，即　　　　　　　　　　则称网络是稳定的处于稳定时刻的网络状态叫稳定状态，又称定点吸引子。 基本概念 一、带时滞的多层感知器网络 一个带时滞的多层感知器网络结构图如下所示 多层感知器网络 描头时滞环节 这种网络结构可以有效地描述输出是有限维独立的输入序列 图4-18　时滞神经网络结构 由于不存在反馈，故其训练方法完全套用传统的BP学习算法。 而带反馈的动态网络系统具有比纯前馈神经网络更优越的性能。此类带反馈的神经网络通常又称为回归神经网络。 一种将反馈引入到神经网络中来的简单方法是将输出的时延直接加到网络输入端。 多层感知器网络 抽头时滞环节 抽头时滞环节 X(k) X(k-1) X(k-n) X(k-m) Y(k-2) Y(k-1) X(k) Y(k) 回归神经网络的学习可以直接利用静态前向传播神经网络的BP算法解决。 图4-19　带反馈的时滞神经网络结构 二、 Hopfield 神经网络 Hopfield网络可以用一组耦合的非线性微分方程来表示； 在任何初始状态下都能渐进趋于稳定态，这一稳定态是由神经元之间的连接权系数决定的； 具备快速优化能力； 1、二值型的Hopfield网络(离散型的Hopfield网络) 只有一个神经元层次,每个处理单元均有一个活跃值，又可称为状态，它取两个可能的状态值之一，通常用0和1或－1和1来表示神经元的抑制和兴奋状态. 整个网络的状态由单一神经元的状态组成。网络的状态可用一个由0(-1)/1组成的矢量来表示，其中每一元素对应于某个神经元的状态。通常二值型的Hopfield网络可以用如下节点方程式来描述。 式中，表示时间变量；表示外部输入；表示神经元输出；　表示神经元内部状态；表示阀值函数。 神经元之间实现全连接，即每个神经元的输出都通过权系数　反馈到所有其它神经元（包括自身神经元） 图4-20　二值型Hopfield网络的结构图 含有n个节点的离散Hopfield 网络有2n个可能的状态 ； 网络状态变化采用随机性异步更新策略； 节点状态更新包括三种情况：0→1、1→0，或状态保持； 某一时刻网络中只有一个节点被选择进行状态更新，其余的节点保持原有状态； Hopfield 神经网络的状态转移 例4-3　假设一个3节点的离散Hopfield神经网络，已知网络权值与阀值如下图所示。计算状态转移关系。