史上最好神经网络讲义清华神经网络讲义.ppt

* * Boltzmann机的训练 神经元ANi在运行中状态发生了变化 Boltzmann机的能量函数(一致性函数 ) * * Boltzmann机的训练 如果ΔΕi0，则应该选ANi输出为1，否则，应该选ANi输出为0。 ΔΕi的值越大，神经元ANi应该处于状态1的概率就应该越大。反之，ΔΕi的值越小，神经元ANi应该处于状态1的概率就应该越小。从而，oi=1的概率为： * * Boltzmann机的训练 处于状态a，b的概率Pa和Pb，对应于oi=1和oi=0，其它的神经元在a，b状态下不变 Pa=γpi Pb =γ（1-pi） * * Boltzmann机的训练 网络进行足够多次迭代后，处于某状态的概率与此状态下的能量和此时系统的温度有关。 由于高温时网络的各个状态出现的概率基本相同，这就给它逃离局部极小点提供了机会。 当系统的温度较低时，如果EaEb，则PaPb：网络处于较低能量状态的概率较大 * * Boltzmann机的训练 1986年，Hinton和Sejnowski训练方法 自由概率Pij-：没有输入时ANi和ANj同时处于激发状态的概率。 约束概率Pij+：加上输入后ANi和ANj同时处于激发状态的概率。 联接权修改量：Δwij=α( Pij+ - Pij-) * * 算法7-2 Boltzmann机训练算法 1???计算约束概率 1.1 对样本集中每个样本，执行如下操作： 1.1.1 将样本加在网络上（输入向量及其对应的输出向量）； 1.1.2 让网络寻找平衡； 1.1.3 记录下所有神经元的状态； 1.2 计算对所有的样本，ANi和ANj的状态同时为1的概率Pij+； * * 算法7-2 Boltzmann机训练算法 2 ?计算自由概率 2.1 从一个随机状态开始，不加输入、输出，让网络自由运行，并且在运行过程中多次纪录网络的状态； 2.2 对所有的ANi和ANj，计算它们的状态同时为1的概率Pij-； 3? 对权矩阵进行调整 Δwij=α(Pij+-Pij-) * * 7.4 双联存储器的结构 智力链 从一件事想到另一件事，“唤回失去的记忆”。 自相联 异相联 双联存储器（Bidirectional Associative Memory—BAM）。 双联存储器具有一定的推广能力 它对含有一定缺陷的输入向量，通过对信号的不断变换、修补，最后给出一个正确的输出。 * * 基本的双联存储器结构 ? W 第1层 输入向量 第2层 输出向量 WT x1 xn ym y1 … … … … … * * 网络运行 Y=F(XW) X=F(YWT) X=(x1，x2，…，xn) Y=(y1，y2，…，ym) F为神经元的激活函数，一般可采用S形函数 * * Cauchy分布函数积分运算 Monte Carlo法：在(0,1)中按照均匀分布随机取一数为P(Δw)，再取当前的温度，就可以直接地计算出Δw Cauchy训练算法： 将算法6-2中的Boltzmann分布换成Cauchy分布 Δw=αTtg(P(Δw)) * * 6.4 相关的几个问题 Boltzmann机 每个神经元可以有一个特殊的阈值，用来限制神经元所获得的激活值 神经元的状态概率发生变化。oj=1的概率为 * * Boltzmann机 Boltzmann机的目标函数（能量函数） “一致性函数” * * 人工热问题 特殊热——温度关于能量的变化率 系统在能量跃变边界处的温度叫做临界温度 人工特殊热/“伪特殊热” 系统的人工温度关于系统的能量函数（目标函数）的平均变化率 临界温度 临界温度时的小量下降，会引起能量函数值的较大变化 系统正处于一个局部极小点附近 临界温度点可以通过考察所定义的人工特殊热的变化情况得到 * * BP算法与Cauchy训练的结合 Cauchy训练的速度比Boltzmann训练快 Cauchy训练的速度比BP算法慢 Cauchy训练有可能使网络逃离局部极小点 由BP算法提供直接计算部分，Cauchy算法提供随机部分 wij=wij+?wij ?wij=α((1-β)δjoi+β?wij′)+(1-α )?wij(c) α∈(0,1)为学习率,β∈(0,1)为冲量系数 * * 网络陷入瘫痪 执行对网络联接权的压缩 如，如果将联接权压缩在（-a，a）以内，P. D. Wasserman曾给出如下建议公式 * * 第2次课堂测试（5分*4） 什么叫线性不可分问题？我们是如何克服它的? BP算法是如何解决隐藏层的联接权的调整的，