上海交通大学-人工神经网-课程-第四讲教学内容.pptVIP

[证明] §4.3 连续时间的Hopfield神经网络模型 这个定理表明： ①网络的解轨道在状态空间中总是随时间朝能量E减小的方向运动，E的极小点即为稳定平衡点； ②不对称的网络结构，无法保证网络的稳定性，要么为极限环状态，要么为混沌状态。 §4.3 连续时间的Hopfield神经网络模型 [推论] 的稳定平衡点就是能量函数E的极小点，反之亦然。 连续Hopfield网络与离散Hopfield网络的稳定性都要求连接 权矩阵是对称的，不同之处： 离散型：激励函数是阶跃函数； 连续型：激励函数是S形函数，在时间上是连续的，各神经元都处于同步工作方式。 §4.3 连续时间的Hopfield神经网络模型 §4.4 联想记忆网络 4.4.1 联想记忆原理 4.4.2 双联想记忆网络的拓扑结构和工作原理 4.4.3 学习规则 4.4.4 网络的稳定性 §4.4 联想记忆网络 4.4.1 联想记忆原理 ①Hopfield网络可以作为联想记忆(联想存储器 )； ②反馈网络选择合理的权系数,可使网络的稳定态成为联想存储的一组状态； ③网络的初态是联想存储中的一组状态,则网络状态不跃迁，否则网络要达到稳定态。 “联想”概念是什么？ :“触景生情” §5.5 联想记忆网络 ◆联想记忆(Associative Memory，AM) 是神经网络理论的一个重要组成部分，也是神经网络用于智能控制、模式识别与人工智能等领域的一个重要功能。它主要利用神经网络的良好容错性，能使不完整的、污损的、畸变的输入样本恢复成完整的原型，适于识别、分类等用途。 ◆Hopfield网络模拟了生物神经网络的记忆功能，也常常被称为联想记忆网络。 ◆人类具有联想的功能，可以从一种事物联系到与其相关的事物或其它事物。 ◆人工神经网络的联想就是指系统在给定一组刺激信号的作用下，该系统能联系出与之相对应的信号。联想是以记忆为前提的，即首先信息存储起来，再按某种方式或规则将相关信息取出。联想记忆的过程就是信息的存取过程。 §4.4 联想记忆网络 ◆所谓的联想记忆也称为基于内容的存取（Content-addressed memory），信息被分布于生物记忆的内容之中，而不是某个确定的地址。 ?信息的存贮是按内容存贮记忆的( content addressable memory CAM) 而传统的计算机是基于地址存贮的（Addressable Memory）即一组信息对应着一定的存储单元。 ?信息的存贮是分布的，而不是集中的。 §4.4 联想记忆网络 4.4.1.1 自联想记忆Auto-AM 从某事物中提取的主要特征来回忆联想该事物。Hopfield网络属于自联想 2016诺贝尔生理学或医学奖—细胞自噬 日本科学家大隅良典（Yoshinori Ohsumi）最后折桂，理由是发现细胞自噬的原理机制——自噬反应（autophagy） 人工神经网络及其应用 第四讲 反馈网络 主讲人：方涛 §4.1 绪论(前馈网络与反馈网络) 4.1.1 前馈网络 4.1.2 反馈网络 4.1.3 Hopfield网络及其应用 Hopfield模型是霍普菲尔德分别于1982年及1984提出的两个神经网络模型。1982年提出的是离散型，1984年提出的是连续型，但它们都是反馈网络结构。 §4.1 绪论(前馈网络与反馈网络) 4.1.1 前馈网络 ①I/O只是一种没有时延的映射关系,且注重考虑离散型网络； ②图论观点→加权的有向图； ③学习观点→具有强的学习能力，系统结构简单、易于编程， 主要为误差修正，收敛速度慢； ④系统观点→经由简单的非线性计算单元的复合映射，得到复 杂的非线性处理能力，是静态的非线性映射； ⑤计算观点→一个学习网络，不具有丰富的动力学行为。 ?大部分前馈网络的分类能力和模式识别能力一般都强于反馈网络，典型的前馈网络有感知器网络、BP 网络等。 §4.1 绪论(前馈网络与反馈网络) 4.1.2 反馈网络 ①连续、离散型网络，以微分/差分方程描述神经元和系统的数 学模型，I/O间有时延； ②图论观点→加权的完备无向图，所有节点之间都可互连； ③学习观点→主要Hebb规则学习，收敛速度快； ④系统观点→具有一般非线性动力学系统性质，是一个非线性 动力学系统，不过作定量分析比较复杂和困难；(反馈动力学系统) 系统的动力学行为：研究系统的稳定态，各类奇异吸引子、 馄饨现象等。因此稳定性是反馈网络的重要特征之一。 ⑤计算观点→计算能力比前馈网络