上海交通大学人工神经网课程第四讲.pptVIP

[证明] §4.3 连续时间的Hopfield神经网络模型 这个定理表明： ①网络的解轨道在状态空间中总是随时间朝能量E减小的方向运动，E的极小点即为稳定平衡点； ②不对称的网络结构，无法保证网络的稳定性，要么为极限环状态，要么为混沌状态。 §4.3 连续时间的Hopfield神经网络模型 [推论] 的稳定平衡点就是能量函数E的极小点，反之亦然。 连续Hopfield网络与离散Hopfield网络的稳定性都要求连接 权矩阵是对称的，不同之处： 离散型：激励函数是阶跃函数； 连续型：激励函数是S形函数，在时间上是连续的，各神经元都处于同步工作方式。 §4.3 连续时间的Hopfield神经网络模型 §4.4 联想记忆网络 4.4.1 联想记忆原理 4.4.2 双联想记忆网络的拓扑结构和工作原理 4.4.3 学习规则 4.4.4 网络的稳定性 §4.4 联想记忆网络 4.4.1 联想记忆原理 ①Hopfield网络可以作为联想记忆(联想存储器 )； ②反馈网络选择合理的权系数,可使网络的稳定态成为联想存储的一组状态； ③网络的初态是联想存储中的一组状态,则网络状态不跃迁，否则网络要达到稳定态。 “联想”概念是什么？ :“触景生情” §5.5 联想记忆网络 ◆联想记忆(Associative Memory，AM) 是神经网络理论的一个重要组成部分，也是神经网络用于智能控制、模式识别与人工智能等领域的一个重要功能。它主要利用神经网络的良好容错性，能使不完整的、污损的、畸变的输入样本恢复成完整的原型，适于识别、分类等用途。 ◆Hopfield网络模拟了生物神经网络的记忆功能，也常常被称为联想记忆网络。 ◆人类具有联想的功能，可以从一种事物联系到与其相关的事物或其它事物。 ◆人工神经网络的联想就是指系统在给定一组刺激信号的作用下，该系统能联系出与之相对应的信号。联想是以记忆为前提的，即首先信息存储起来，再按某种方式或规则将相关信息取出。联想记忆的过程就是信息的存取过程。 §4.4 联想记忆网络 ◆所谓的联想记忆也称为基于内容的存取（Content-addressed memory），信息被分布于生物记忆的内容之中，而不是某个确定的地址。 ?信息的存贮是按内容存贮记忆的( content addressable memory CAM) 而传统的计算机是基于地址存贮的（Addressable Memory）即一组信息对应着一定的存储单元。 ?信息的存贮是分布的，而不是集中的。 §4.4 联想记忆网络 4.4.1.1 自联想记忆Auto-AM 从某事物中提取的主要特征来回忆联想该事物。Hopfield网络属于自联想 §4.4 联想记忆网络 4.4.2 双联想记忆网络的拓扑结构和工作原理 1 2 n 1 2 m §4.4 联想记忆网络 §4.4 联想记忆网络 4.4.3 学习规则 §4.4 联想记忆网络 4.4.4 网络的稳定性 4.5.1 Hopfield网络应用应考虑的问题 4.5.2 旅行商问题（TSP） §4.5 Hopfield网络的应用-- 最优化计算 不同应用的基本思想可以归纳如下： 对于特定的问题，选择一种合适的表示方法，使得神经网络的输出与问题的解对应起来 构造神经网络的能量函数，使其最小值对应于问题的最佳解 由能量函数反推出神经网络的结构 由网络结构构造网络，让其运行，则稳定状态在一定条件下就是问题的解 4.5.1 Hopfield网络应用应考虑的问题 可用于优化计算：具体用于图像、语音、信号处理，模式识别等。 Hopfield用于优化计算的基本原理： 串行工作方式下，将2n个初始状态映射到一组稳定状态集合上去，此时能量函数达到极大值 具有这样形式的问题求解都可以采用Hopfield网络来求解。 §4.5 Hopfield网络的应用 组合优化就是在给定约束条件下，求出使目标函数极小（或极大）的变量组合 将Hopfield神经网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态，当网络的能量函数收敛于极小值时，网络的状态就对应于问题的最优解。 4.5.2 旅行商问题（TSP） §4.5 Hopfield网络的应用 4.5.2 .1 几种经典的求解方法 ①穷举搜索法（Exhaustive Search Method