人工神经网络讲义.ppt

* * Boltzmann机的训练 1986年，Hinton和Sejnowski训练方法 自由概率Pij-：没有输入时ANi和ANj同时处于激发状态的概率。 约束概率Pij+：加上输入后ANi和ANj同时处于激发状态的概率。 联接权修改量：Δwij=α( Pij+ - Pij-) * * 算法7-2 Boltzmann机训练算法 1???计算约束概率 1.1 对样本集中每个样本，执行如下操作： 1.1.1 将样本加在网络上（输入向量及其对应的输出向量）； 1.1.2 让网络寻找平衡； 1.1.3 记录下所有神经元的状态； 1.2 计算对所有的样本，ANi和ANj的状态同时为1的概率Pij+； * * 算法7-2 Boltzmann机训练算法 2 ?计算自由概率 2.1 从一个随机状态开始，不加输入、输出，让网络自由运行，并且在运行过程中多次纪录网络的状态； 2.2 对所有的ANi和ANj，计算它们的状态同时为1的概率Pij-； 3? 对权矩阵进行调整 Δwij=α(Pij+-Pij-) * * 7.4 双联存储器的结构 智力链 从一件事想到另一件事，“唤回失去的记忆”。 自相联 异相联 双联存储器（Bidirectional Associative Memory—BAM）。 双联存储器具有一定的推广能力 它对含有一定缺陷的输入向量，通过对信号的不断变换、修补，最后给出一个正确的输出。 * * 基本的双联存储器结构 ? W 第1层 输入向量 第2层 输出向量 WT x1 xn ym y1 … … … … … * * 网络运行 Y=F(XW) X=F(YWT) X=(x1，x2，…，xn) Y=(y1，y2，…，ym) F为神经元的激活函数，一般可采用S形函数 * * 激活函数——阈值函数 随着λ的增加，该函数趋近于阈值为0的阈值函数。 1 if neti0 yi= 0 if neti0 yi if neti=0 λ2λ1 λ1 λ2 1/2 * * 基本BAM的稳定 Kosko(1987)： 基本的双联存储器无条件稳定——联接权矩阵是互为转置矩阵。 当输入向量的维数与输出向量的维数相同时，W为方阵，此时如果联接矩阵W是对称的，则基本的双联存储器退化成一个Hopfield网 * * BP算法与Cauchy训练的结合 Cauchy训练的速度比Boltzmann训练快 Cauchy训练的速度比BP算法慢 Cauchy训练有可能使网络逃离局部极小点 由BP算法提供直接计算部分，Cauchy算法提供随机部分 wij=wij+?wij ?wij=α((1-β)δjoi+β?wij′)+(1-α )?wij(c) α∈(0,1)为学习率,β∈(0,1)为冲量系数 * * 网络陷入瘫痪 执行对网络联接权的压缩 如，如果将联接权压缩在（-a，a）以内，P. D. Wasserman曾给出如下建议公式 * * 第2次课堂测试（5分*4） 什么叫线性不可分问题？我们是如何克服它的? BP算法是如何解决隐藏层的联接权的调整的，试进行适当的分析。 叙述对传网中Kohonen层联接权的初始化方法。 为什么需要花费如此大的力气进行Kohonen层联接权的初始化工作？ * * 练习 P 1、5 * * 上次课内容回顾 非确定算法的基本思想 训练 工作 基本统计训练算法 算法 伪随机数：初值与调整量 循环控制 * * 上次课内容回顾 模拟退火算法 基本思想 能量和温度相关 高温 中温 低温 步长与能量相关 自适应步长 根据能量计算步长 Monte Carlo方法 * * 上次课内容回顾 Cauchy训练 人工热问题 BP算法与Cauchy训练的结合 网络陷入瘫痪 * * 第7章 循环网络 主要内容 Hopfield网络实现的自相联存储 稳定性分析 统计Hopfield网与Boltzmann机 基本双联存储器(BAM)的结构与训练 几种相联存储网络 用Hopfield网解决TSP问题。 * * 第7章 循环网络 重点 Hopfield网络实现的自相联存储 基本双联存储器的结构与训练。 难点 稳定性分析 用Hopfield网解决TSP问题 * * 第7章 循环网络 7.1 循环网络的组织 7.2 稳定性分析 7.3 统计Hopfield网与Boltzmann机 7.4 双联存储器的结构 7.5 异相联存储 7.6 其它的双联存储器 7.7 Hopfield网用于解决TSP问题 * * 第7章 循环网络 循环网络称为Hopfield网