神经网络 配套ppt Ch13_pres.pptVIP

简单联想网络 香蕉联想器 无监督的Hebb规则 香蕉识别例子 例子 Hebb规则的问题 权能任意地增大，导致与生物系统矛盾（突触不能无限制地增大）。 没有机制使权减小。如果输入或输出有噪声，将导致权值缓慢增加，直至最后网络对任何刺激都作出响应。 带衰减的Hebb规则 例子：香蕉联想器 例子 带衰减的Hebb规则的问题 Instar (识别网络) Instar 操作 向量识别 Instar 规则 图的表示 例子 训练 进一步训练 Kohonen 规则 Outstar (回忆网络) Outstar 操作 Outstar 规则 例子 – 菠萝回忆 定义 迭代 1 收敛 13 * 联想学习 无监督学习 网络具有在经常一同出现的模式之间学习其中关联的能力。 联想：系统中输入和输出之间的任何联系。 刺激：输入模式。 响应：输出模式。 1, 有刺激 0, 无刺激 1, 有响应 0, 无响应 无条件刺激: 无需学习的先天的特征 条件刺激: 后天学习到的特征 1, 检测形状 0, 不检测形状 1, 检测汽味 0, 不检测汽味 向量形式： 训练序列（按时间顺序）： 局部学习规则：仅用到和更新与条件刺激相关的权值 初始权值： 训练序列重复下列两组输入： a 1 ( ) h a r d l i m w 0 p 0 1 ( ) w 0 ( ) p 1 ( ) 0.5 – + ( ) h a r d l i m 1 0 × 0 1 × 0.5 – + ( ) 0 (无响应) = = = 第一次迭代 (视觉检测失败)： a = 1 训练中无条件刺激的权值不变，更新有条件刺激的权值： 单独的汽味不产生响应，Hebb规则不改变权w a 2 ( ) h a r d l i m w 0 p 0 2 ( ) w 1 ( ) p 2 ( ) 0.5 – + ( ) h a r d l i m 1 1 × 0 1 × 0.5 – + ( ) 1 (香蕉) = = = 第二次迭代 (视觉检测成功)： 第三次迭代 (视觉检测失败)： 现在两种检测中只要有一个工作正常就能对香蕉作出响应。 汽味刺激和响应同时发生，Hebb将增加它们之间的权值： 此时已建立了香蕉汽味和对它的反应之间的联想： 这阻止了权值矩阵无界地增大。最大权值能够通过设置ai和pj为1（最大化学习），然后求解稳态权值（此时，新旧权值相同）得到： a 1 ( ) h a r d l i m w 0 p 0 1 ( ) w 0 ( ) p 1 ( ) 0.5 – + ( ) h a r d l i m 1 0 × 0 1 × 0.5 – + ( ) 0 (无响应) = = = 第一次迭代(视觉检测失败)： a 2 ( ) h a r d l i m w 0 p 0 2 ( ) w 1 ( ) p 2 ( ) 0.5 – + ( ) h a r d l i m 1 1 × 0 1 × 0.5 – + ( ) 1 (香蕉) = = = 第二次迭代 (视觉检测成功)： g = 0.1 a = 1 第三次迭代 (视觉检测失败)： Hebb规则 带衰减的Hebb规则 权值也持续增加，但增量变小，仅为0.9而非1.0 联想将衰减如果刺激不时常有的话。 如果 ai = 0, 有 如果 g = 0.1, 可得 所以没有刺激每次迭代权会减衰减10%。 Instar与感知机相似，但它重点考虑进行模式识别的能力 Instar满足下式时成为活跃： or w T 1 p w 1 p q cos b – 3 = 对于规格化的向量(有相同的长度，即模相同)，最大的内积发生在权向量与输入向量的夹角为零时 — 输入向量等于权向量。 权矩阵的行代表被识别的模式。 b w 1 p – = 如果设 Instar 只有在 q = 0时活跃。 b w 1 p – 如果设 Instar 将在一定的角度范围内活跃。 随着b的增加，将有更多的模式(在q角的一个大范围内) 能激活Instar。 w 1 带衰减的Hebb规则： Instar规则 — 只有在神经元活跃时学习和遗忘才发生： w i j q ( ) w i j q 1 – ( ) a a i q ( ) p j q ( ) g a i q ( ) w q 1 – ( ) – + = i j 或设置γ等于α 向量形式： Instar活跃的情况(ai = 1)： 或 Instar不活跃的情况(ai = 0 )： 权向量沿着旧的权向量和 输入向量连线向输入向量 方向移动。 第一次迭代 (a=1): (桔子) h a 2 ( ) h a r d l i m w 0 p 0 2 ( ) W p 2 ( ) 2 – + ( ) =