课件：人工神经网络.ppt

* * 网络运行 Y=F(XW) X=F(YWT) X=(x1，x2，…，xn) Y=(y1，y2，…，ym) F为神经元的激活函数，一般可采用S形函数 * * 上次课内容回顾 模拟退火算法 基本思想 能量和温度相关 高温 中温 低温 步长与能量相关 自适应步长 根据能量计算步长 Monte Carlo方法 * * 上次课内容回顾 Cauchy训练 人工热问题 BP算法与Cauchy训练的结合 网络陷入瘫痪 * * 第7章 循环网络 主要内容 Hopfield网络实现的自相联存储 稳定性分析 统计Hopfield网与Boltzmann机 基本双联存储器(BAM)的结构与训练 几种相联存储网络 用Hopfield网解决TSP问题。 * * 第7章 循环网络 重点 Hopfield网络实现的自相联存储 基本双联存储器的结构与训练。 难点 稳定性分析 用Hopfield网解决TSP问题 * * 第7章 循环网络 7.1 循环网络的组织 7.2 稳定性分析 7.3 统计Hopfield网与Boltzmann机 7.4 双联存储器的结构 7.5 异相联存储 7.6 其它的双联存储器 7.7 Hopfield网用于解决TSP问题 * * 第7章 循环网络 循环网络称为Hopfield网 循环网络对输入信号的处理是一个逐渐“修复”、“加强”的过程。 强烈变化 较弱的变化 不变化 * * 7.1 循环网络的组织 网络结构 ?X1 Xn o1 om … … … … … … * * 7.1 循环网络的组织 联接：神经元之间都是互联的wij，每个神经元都没有到自身的联接wii=0。 神经元个数h，输入向量维数n，输出向量维数m。h≥n，h≥m，n≥1，m≥1。 神经元：输入、输出、隐藏 状态变化：非同步、同步 输入向量：X=(x1，x2，…，xn) 输出向量：O=(o1，o2，…，om) * * 7.1 循环网络的组织 神经元的网络输入： 阈值函数：oj= 1 if netjθj 0 if netjθj oj if netj=θj * * 最基本的Hopfield网 o1 on o2 x2 x1 xn W … … n=m=h * * 最基本的Hopfield网 希望网络的联接矩阵存放的是一组这样的样本，在联想过程中实现对信息的“修复”和“加强”，要求：它的输入向量和输出向量是相同的向量，即，X=Y 样本集：S={ X1，X2，…，Xs} * * 最基本的Hopfield网 wii=0 1≤i≤n W是一个对角线元素为0的对称矩阵： W= X1T ╳X1+X2T╳X2+…+XsT╳Xs - W0 W是各个样本向量自身的外积的和——网络实现的是自相联映射。 权矩阵：wij= i≠j * * 最基本的Hopfield网 激活函数： 改为S形函数后，系统就成为一个连续系统 多级循环网络 除输出向量被反馈到输入层外，其它各层之间的信号传送均执行如下规定：第i-1层神经元的输出经过第i个连接矩阵被送入第i层。 一般不考虑越层的信号传送、中间的信号反馈和同层的神经元之间进行信号的直接传送 * * 7.2 稳定性分析 网络的稳定性是与收敛性不同的问题 Cohen和Grossberg[1983年]:Hopfield网络的稳定性定理 如果Hopfield网络的联接权矩阵是对角线为0的对称矩阵，则它是稳定的 用著名的Lyapunov函数作为Hopfield网络的能量函数 * * Lyapunov函数——能量函数 作为网络的稳定性度量 wijoioj：网络的一致性测度。 xjoj：神经元的输入和输出的一致性测度。 θjoj：神经元自身的稳定性的测度。 * * 当ANk的状态从ok变成ok′ 1、ANk是输入神经元 * * 当ANk的状态从ok变成ok′ wkk=0 * * ΔΕ=-(netk-θk)Δok ANk状态的变化：Δok=(ok′-ok) Δok=0，ΔΕ =0 Δok0，ok′=1 ok=0，ok由0变到1， netkθk，netk-θk0 所以，-(netk-θk)Δok0故ΔΕ0 结论：网络的目标函数总是下降 Δok0, ok′=0 ok=1，ok由1变到0 netkθk，netk-θk0 -(netk-θk)Δok0故ΔΕ0 * * 当ANk的状态从ok变成ok′ 2、ANk不是输入神经元 * * 当ANk的状态从ok变成ok′ 无论ANk的状态是如何变化的，总有ΔΕ≤ 0 * * 7.3 统计Hopfield网与Boltzmann机 统计Hopfield网 在网络运行中，神经元状态与 “人工温度”确定的概率相关 网络运行模拟