《人工神经网络》PPT课件.pptVIP

* * Boltzmann机的训练 处于状态a，b的概率Pa和Pb，对应于oi=1和oi=0，其它的神经元在a，b状态下不变 Pa=γpi Pb =γ（1-pi） * * Boltzmann机的训练 网络进行足够多次迭代后，处于某状态的概率与此状态下的能量和此时系统的温度有关。 由于高温时网络的各个状态出现的概率基本相同，这就给它逃离局部极小点提供了机会。 当系统的温度较低时，如果EaEb，则PaPb：网络处于较低能量状态的概率较大 * * Boltzmann机的训练 1986年，Hinton和Sejnowski训练方法 自由概率Pij-：没有输入时ANi和ANj同时处于激发状态的概率。 约束概率Pij+：加上输入后ANi和ANj同时处于激发状态的概率。 联接权修改量：Δwij=α( Pij+ - Pij-) * * 算法7-2 Boltzmann机训练算法 1???计算约束概率 1.1 对样本集中每个样本，执行如下操作： 1.1.1 将样本加在网络上（输入向量及其对应的输出向量）； 1.1.2 让网络寻找平衡； 1.1.3 记录下所有神经元的状态； 1.2 计算对所有的样本，ANi和ANj的状态同时为1的概率Pij+； * * 算法7-2 Boltzmann机训练算法 2 ?计算自由概率 2.1 从一个随机状态开始，不加输入、输出，让网络自由运行，并且在运行过程中多次纪录网络的状态； 2.2 对所有的ANi和ANj，计算它们的状态同时为1的概率Pij-； 3? 对权矩阵进行调整 Δwij=α(Pij+-Pij-) * * 7.4 双联存储器的结构 智力链 从一件事想到另一件事，“唤回失去的记忆”。 自相联 异相联 双联存储器（Bidirectional Associative Memory—BAM）。 双联存储器具有一定的推广能力 它对含有一定缺陷的输入向量，通过对信号的不断变换、修补，最后给出一个正确的输出。 * * 基本的双联存储器结构 ? W 第1层 输入向量 第2层 输出向量 WT x1 xn ym y1 … … … … … * * 网络运行 Y=F(XW) X=F(YWT) X=(x1，x2，…，xn) Y=(y1，y2，…，ym) F为神经元的激活函数，一般可采用S形函数 * * 激活函数——阈值函数 随着λ的增加，该函数趋近于阈值为0的阈值函数。 1 if neti0 yi= 0 if neti0 yi if neti=0 λ2λ1 λ1 λ2 1/2 * * Boltzmann机 Boltzmann机的目标函数（能量函数） “一致性函数” * * 人工热问题 特殊热——温度关于能量的变化率 系统在能量跃变边界处的温度叫做临界温度 人工特殊热/“伪特殊热” 系统的人工温度关于系统的能量函数（目标函数）的平均变化率 临界温度 临界温度时的小量下降，会引起能量函数值的较大变化 系统正处于一个局部极小点附近 临界温度点可以通过考察所定义的人工特殊热的变化情况得到 * * BP算法与Cauchy训练的结合 Cauchy训练的速度比Boltzmann训练快 Cauchy训练的速度比BP算法慢 Cauchy训练有可能使网络逃离局部极小点 由BP算法提供直接计算部分，Cauchy算法提供随机部分 wij=wij+?wij ?wij=α((1-β)δjoi+β?wij′)+(1-α )?wij(c) α∈(0,1)为学习率,β∈(0,1)为冲量系数 * * 网络陷入瘫痪 执行对网络联接权的压缩 如，如果将联接权压缩在（-a，a）以内，P. D. Wasserman曾给出如下建议公式 * * 第2次课堂测试（5分*4） 什么叫线性不可分问题？我们是如何克服它的? BP算法是如何解决隐藏层的联接权的调整的，试进行适当的分析。 叙述对传网中Kohonen层联接权的初始化方法。 为什么需要花费如此大的力气进行Kohonen层联接权的初始化工作？ * * 练习 P 1、5 * * 上次课内容回顾 非确定算法的基本思想 训练 工作 基本统计训练算法 算法 伪随机数：初值与调整量 循环控制 * * 上次课内容回顾 模拟退火算法 基本思想 能量和温度相关 高温 中温 低温 步长与能量相关 自适应步长 根据能量计算步长 Monte Carlo方法 * * 上次课内容回顾 Cauchy训练 人工热问题 BP算法与Cauchy训练的结合 网络陷入瘫痪 * * 第7章 循环网络 主要内容 Hopfield网络实现的自相联存储 稳