连续型Hopfield神经网络.pptVIP

连续型Hopfield神经网络 报告人：彭佳伟 导 师：齐乐华 教授 Outline 人工神经网络简介 Hopfield神经网络概述 连续型Hopfield神经网络结构及特点 简单应用 1 人工神经网络简介 人工神经网络（Artificial Neural Networks，简写为ANN）也简称为神经网络(NN)或称作连接模型，是对人脑或自然神经网络若干基本特性的抽象和模拟。人工神经网络是以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制， 实现某个方面的功能。 神经元具有以下特点： 神经元是一多输入、单输出元件。 它具有非线性的输入、输出特性。 它具有可塑性，其塑性变化的部分主要是权值的变化，这相当于生物神经元的突触部分的变化。 神经元的输出响应是各个输入值的综合作用的结果。 输入分为兴奋型（正值）和抑制型（负值）两种。 国际著名的神经网络研究专家， 第一家神经计算机公司的创立者与领导人Hecht-Nielsen 给人工神经网络下的定义就是：“人工神经网络是由人工建立的、以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态响应而进行信息处理。” 人工神经网络的结构分类 人工神经网络的结构基本上分为两类，即递归网络和前馈网络。 1) 递归网络 此类网络中，多个神经元互连组织成一个互连神经网络。有些神经网络输出被反馈至同层或前层神经元。因此，信号能从正向和反向流通。Hopfield 网络、Elmman 网络和Jordan 网络是递归网络中具有代表性的例子。递归网络又叫反馈网络。 2) 前馈网络 前馈网络具有递阶分层结构，由一些同层神经元不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通；神经元从一层连接至下一层，不存在同层神经元间的连接，前馈网络的例子有多层感知器(MLP)，学习矢量化(LVQ)网络、小脑膜型连接控制(CMCA)网络和数据处理(GMDH)网络等。 人工神经网络的主要学习算法 神经网络主要通过两种学习算法进行训练，即有导师（指导式）学习算法和无导师（非指导式）学习算法。此外还存在第三种学习算法，即强化学习算法，可把它看作是有导师学习的一种特例。 1) 有导师学习 有导师学习算法能够根据期望的和实际的网络输出（对应于给定输入）之间的差来调整神经元连接的强度或权。因此，有导师学习需要提供期望或目标输出信号。 人工神经网络的主要学习算法 2) 无导师学习 无导师学习算法不需要知道期望输出，在训练过程中，只要神经网络提供输入模式，神经网络就能够自动地适应连接权，以便按相似的特征把输入模式分组聚集。 3) 强化学习 强化学习是有导师学习的特例，它不需要给出目标输出，强化学习算法采用一个“评论员”来评价与给定输入项相对应的神经网络输出的优度（质量因数）。强化学习算法的一个例子是遗传算法（GA）。 人工神经元模型 常用的人工神经元模型主要是基于模拟生物神经元信息传递特性，即输入、输出关系。如果将生物神经元输入、输出脉冲的密度用模拟电压来表示，可用右图的模型来模拟。 人工神经元模型 xi(i=1,2,···,n)为加于输入端（突触）上的输入信号；wi(i=1,2,···,n)为相应的突触连接权系数，它是模拟突触传递强度的一个比例系数：Σ表示突触后信号的空间累加；θ表示神经元的阈值，σ表示神经元的响应函数。该模型的数学表达式为： 2.Hopfield神经网络概述 Hopfield网络是J.J.Hopfield在20世纪80年代提出来的。他指出，如果神经网络的突触联系是有效对称的，那么系统必将演化到一个固定的有序状态。于是他引入能量函数的概念，表明如果突触联系是对称的，则网络的动态演化过程将达到能量最小的稳定状态。利用这一特性，Hopfield网络可完成一些诸如最优化和联想记忆的功能。 Hopfield网络分为离散型和连续型两种，都是对称互连网络（Wij=Wji）,根据节点状态的取值来划分是离散型的还是连续型。离散网络节点取{-1，+1}或{0，+1}，连续网络节点状态在某个随机区间内连续取值。 Hopfield网络的运行规则 神经元网络主要有两种运行方式，一种是学习运行方式，即通过学习调整连接权的值来达到模式记忆与识别的目的。另一种就是即将要介绍的Hopfield网络所采用的运行方式。 在Hopfield网络中，各连接权的值主要是设计出来的，而不是通过网络运行而学到的，网络的学习过程只能对它进行微小的调整，所以连接权的值在网络运行过程中是基本固定的，网络的运行只是通过按一定的规则计算与更新网络的状态，以求达到网络的一种稳定状态，如果将这种稳定状态设计在网络能