人工神经网络基础_ANN课件 第五章.pdf

人工神经网络基础  第一章 绪论  第二章 人工神经网络基础  第三章 前向（馈）神经网络  第四章 深度神经网络  第五章 反馈式神经网络  第六章 随机型神经网络  第七章 自组织神经网络  第八章 脉冲神经网络  第九章 人工神经网络系统设计  第十章 人工神经网络的发展 1 第五章 反馈式神经网络  5.1 Hopfield神经网络  5.2 双向异联想记忆网络  5.3 汉明(Hamming)网络  前馈神经网络通过许多具有简单处理能力的神经元的复 合作用，使整个网络具有复杂的非线性映射能力。  研究短时记忆结构和由记忆结构刺激静态神经网络，以及如何将 它作为动态映射器运行。  从计算的观点看：前馈型神经元网络大部分是学习网络 而不具有动力学行为。  网络所建立的输入/输出之间的关系式往往是静态的，而实际应 用中的被控对象通常都是时变的。  采用静态神经网络建模不能准确描述系统的动态性能。  描述系统动态性能的神经网络应当具有可以反映系统动态特 性和存储信息的能力。  能够完成这些功能的网络要求网络中存在信息的延时，并具 有延时信息的反馈。这类网络称为反馈神经网络（Recurrent Neural Network ，RNN ）或递归神经网络。  反馈网络比前馈型网络的内容要广阔和丰富得多，提供了人 们可以从不同方面利用复杂的性质以完成各种计算功能。  稳定问题；  各种类型吸引子；  混沌现象；  随机性；  不可预测性。  从系统观点看：反馈网络是一个非线性动力学系统。 对这种系统进行定量分析是比较复杂和困难的。  从应用的角度看：  对简化模型的主要性质做一些定性的分析；  稳定性；  吸引子；  如何得到和利用稳定的反馈网络。 是重点要研究的内容。  1989年，Hirsch将神经网络看做是一种非线性动力学系统， 称为神经动力学。  神经动力学的研究开始于1938年Nicholas Rashevsky 的工作 中。  神经动力学分为：  确定性神经动力学：将神经网络作为确定性行为，在数学 上用非线性微分方程的集合来描述系统的行为，方程解为 确定的解；  统计性神经动力学：将神经网络看成被噪声所扰动，在数 学上采用随机的非线性微分方程来描述系统的行为，方程 的解用概率表示。  Hirsch. M ，Convergent activation dynamic in continuous time networks ，Neural Networks ，1989，1 （2 ）：331- 349  Nicholas Rashevsky ，Mathematical Biophysics ，Chicago: University of Chicago Press ，1938 5.1 Hopfield神经网络  美国加州工学院物理学家J.J.Hopfleld 于1982年和1984年分别提出了两种神 经网络模型，简称 HNN 。  离散的随机模型 （离散Hopfleld 网络）  确定论模型 （连续Hopfleld 网络） J.J.Hopfield  Neural Networks and Physical Systems with Emergent Collective Computational Abilities Proc.Natl.Acad. Sci.,U.S.A. Vol.79:2554~2558,1982  Neurons with Graded Response have Collective Computational Properties Like Those of Two-state neurous