人工神经网络之反馈型网络课件.pptVIP

人工神经网络之反馈神经网络; 从生物神经网络到人工神经网络;What’s this?; 大脑的组织结构和功能是人体器官中最为复杂的，它接受外界信号、产生感觉、形成意识、进行逻辑思维、发出指令产生行为，掌管着人们的语言、思维、感觉、情绪、运动等高级活动。 ; 虽然人们还并不完全清楚生物神经网络是如何进行工作的，但幻想构造一些“人工神经元”，进而将它们以某种方式连接起来，以模拟“人脑”的某些功能。 ; 膜电位加权：突触使神经细胞的膜电位发生变化，且电位的变化是可以累加的，该神经细胞膜电位是它所有突触产生的电位加权，当该神经细胞的膜电位升高到超过一个阈值时，就会产生一个脉冲，从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。; 生物神经元的信息传递与处理示意图; 生物神经元的基本特征; 人工神经元的一般模型;What’s this？; 神经网络的特点; 人工神经网络的一般结构; 简单公式中的复杂问题; 人工神经网络（ANN — Artificial Neural Networks）是采用可物理实现的系统来模仿人脑神经细胞结构和功能的系统。;反馈神经网络;知识结构;概述;概述;1982年,美国加州工学院J.Hopfield提出了可用作联想存储器和优化计算的反馈网络,这个网络称为Hopfield神经网络(HNN)模型,也称Hopfield模型.; 反馈网络(Recurrent Network),又称自联 想记忆网络,如下图所示:; 反馈网络的目的是为了设计一个网络，储存一 组平衡点，使得当给网络一组初始值时，网络通过 自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态 特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某 一初始状态开始运动，网络系统总可以收敛到某一 个稳定的平衡状态； 第二、系统稳定的平衡状态可以通过设计网络的权 值而被存储到网络中。 ;由于HNN为动力学系统,且其平衡态关系到信息的存储与联想记忆,其平衡态与稳定性是非常关键的问题。 反馈网络根据信号的时间域的性质的分类为 如果激活函数f(·)是一个二值型的阶跃函数,则称此网络为离散型反馈网络,主要用于联想记忆; 如果f(·)为一个???续单调上升的有界函数,这类网络被称为连续型反馈网络,主要用于优化计算。;反馈NN由于其输出端有反馈到其输入端,所以,HNN在输入的激励下,会产生不断的状态变化. 当有输入之后,可以求取出HNN的输出,这个输出反馈到输入从而产生新的输出,这个反馈过程一直进行下去. 如果HNN是一个能稳定的网络,则这个反馈与迭代的计算过程所产生的变化越来越小,一旦到达了稳定平衡状态,那么HNN就会输出一个稳定的恒值. 对于HNN来说,关键是在于确定它在稳定条件下的权系数. 应该指出,反馈网络有稳定的,也有不稳定的. 对于HNN来说,还存在如何判别它是稳定网络,亦或是不稳定的问题.而判别依据是什么,也是需要确定的.;对于如HNN类似的反馈网络,研究的重点为: 如何通过网络神经元状态的变迁而最终稳定于平衡状态,得到联想存储或优化计算的结果 网络的稳定性问题 怎样设计和利用稳定的反馈网络 网络系统能够达到稳定收敛 网络的稳定点 吸引域的设计 下面开始介绍HNN,分别介绍两种主要的HNN: 离散Hopfield网络 连续Hopfield网络;离散Hopfield网络; 在DHNN网络中,神经元所输出的离散值1和0分别表示神经元处于兴奋和抑制状态. 各神经元通过赋有权重的连接来互联. 下面,首先考虑由三个神经元组成的DHNN,其结构如图3.1所示.;离散Hopfield网络的结构;在图中,第0层仅仅是作为网络的输入,它不是实际神经元,所以无计算功能; 而第一层是实际神经元,故而执行对输入信息和权系数乘积求累加和,并由非线性函数f处理后产生输出信息. f是一个简单的阈值函效,如果 神经元的输入信息的综合大于阈值?,那么,神经元的输出就取值为1; 小于阈值?,则神经元的输出就取值为0. 对于二值神经元,它的计算公式如下;其中xj为外部输入,并且有 yj=1,当uj??j时 yj=0,当uj?j时 对于DHNN,其网络状态是输出神经元信息的集合. 对于一个输出层是n个神经元的网络,则其t时刻的状态为一个n维向量: y(t)=[y1(t),y2(t),...,yn(t)]? 因为yi(t)可以取值为1或0,故n维向量y(t),即网络状态,有2n种状态.;对于3个神经元的DHNN,它的输出层就是3位二进制数.每一个3位二进制数就是一种网络状态,从而共有8个网络状态,如图2中所示.;对于一个由n个神经元组成的DHNN,则有n?n权系数