人工神经网络第七章.pptVIP

第7章 循环网络 主要内容 Hopfield网络实现的自相联存储 稳定性分析 统计Hopfield网与Boltzmann机 基本双联存储器(BAM)的结构与训练 几种相联存储网络 用Hopfield网解决TSP问题。 第7章 循环网络 重点 Hopfield网络实现的自相联存储 基本双联存储器的结构与训练。 难点 稳定性分析 用Hopfield网解决TSP问题 第7章 循环网络 7.1 循环网络的组织 7.2 稳定性分析 7.3 统计Hopfield网与Boltzmann机 7.4 双联存储器的结构 7.5 异相联存储 7.6 其它的双联存储器 7.7 Hopfield网用于解决TSP问题 第7章 循环网络 循环网络称为Hopfield网 7.1 循环网络的组织 网络结构 7.1 循环网络的组织 联接：神经元之间都是互联的wij，每个神经元都没有到自身的联接wii=0。 神经元个数h，输入向量维数n，输出向量维数m。h≥n，h≥m，n≥1，m≥1。 神经元：输入、输出、隐藏 状态变化：非同步、同步 输入向量：X=(x1，x2，…，xn) 输出向量：O=(o1，o2，…，om) 7.1 循环网络的组织 神经元的网络输入： 最基本的Hopfield网 最基本的Hopfield网 希望网络的联接矩阵存放的是一组这样的样本，在联想过程中实现对信息的“修复”和“加强”，要求：它的输入向量和输出向量是相同的向量，即，X=Y 样本集：S={ Y1，Y2，…，Ys} 最基本的Hopfield网 wii=0 1≤i≤n W是一个对角线元素为0的对称矩阵： W= Y1T ╳Y1+Y2T╳Y2+…+YsT╳Ys - W0 W是各个样本向量自身的外积的和——网络实现的是自相联映射。 最基本的Hopfield网 最基本的Hopfield网 激活函数： 改为S形函数后，系统就成为一个连续系统 多级循环网络 除输出向量被反馈到输入层外，其它各层之间的信号传送均执行如下规定：第i-1层神经元的输出经过第i个连接矩阵被送入第i层。 一般不考虑越层的信号传送、中间的信号反馈和同层的神经元之间进行信号的直接传送 7.2 稳定性分析 网络的稳定性是与收敛性不同的问题 Cohen和Grossberg[1983年]:Hopfield网络的稳定性定理 如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的 用著名的Lyapunov函数作为Hopfield网络的能量函数 网络的稳定性与吸引子 Lyapunov函数——能量函数 作为网络的稳定性度量 wijoioj：网络的一致性测度。 xjoj：神经元的输入和输出的一致性测度。 θjoj：神经元自身的稳定性的测度。 当ANk的状态从ok变成ok′ 1、ANk是输入神经元 当ANk的状态从ok变成ok′ ΔΕ=-(netk-θk)Δok ANk状态的变化：Δok=(ok′-ok) Δok=0，ΔΕ =0 当ANk的状态从ok变成ok′ 2、ANk不是输入神经元 当ANk的状态从ok变成ok′ 7.3 统计Hopfield网与Boltzmann机 统计Hopfield网 在网络运行中，神经元状态与 “人工温度”确定的概率相关 网络运行模拟金属退火过程 算法 7-1 统计Hopfield网运行算法 1??取一个很大的值作为人工温度T的初值； 2??对网络中每一个神经元ANi， 2.1?? 按照相应式子计算相应的概率pi； 2.2?? 按照均匀分布，在[0，1]中取一个随机数r； 2.3?? 如果 pir 则使ANi的状态为1， 否则使ANi的状态为0； 3 逐渐降低温度T，如果温度足够低，则算法结束。否则，重复2 Boltzmann机的训练 Boltzmann机是多级循环网络，是Hopfield网的一种扩展。 神经元ANi实际输出状态oi=1的概率为： Boltzmann机的训练 Boltzmann机的训练 Boltzmann机的训练 Boltzmann机是多级循环网络，是Hopfield网的一种扩展。 神经元ANi网络输入为： Boltzmann机的训练 神经元ANi实际输出状态oi=1的概率为 Boltzmann机的训练 神经元ANi在运行中状态发生了变化 Boltzmann机的训练 如果ΔΕi0，神经元ANi处于状态1的概率就应该越大，否则，神经元ANi处于状态0的概就应该越大。 ΔΕi的值越大，神经元ANi应该处于状态1的概率就应该越大。反之，ΔΕi的值越小，神经元ANi应该处于状态1的概率就应该越小。从而，oi=1的概率为：