第7篇 有监督的Hebb学习.pptVIP

* * 第7章 有监督的Hebb学习 7.1 目的 7.2 理论和实例 7.2.1 线性联想器 7.2.4 应用 7.2.2 Hebb规则 7.2.5 Hebb学习的变形 7.2.3 仿逆规则 7.3 小结 7.4 结束语 7.1 目的 本章将运用前两章提出的线性代数的概念阐述Hebb学习的工作原理，并说明如何把Hebb规则用于训练人工神经网络。 7.2 理论和实例 Hebb假设 《The Organization of Behavior》一书中最著名的思想就是现在称为Hebb学习的一个假设：“当细胞A的轴突到细胞B的距离近到足够激励它，且反复地或持续地刺激B，那么在这两个细胞或者一个细胞中将会发生某种增长过程或代谢反应，增加A对细胞B的刺激效果。” 7.2.1 线性联想器 线性联想器 输出向量a由输入向量p根据下式决定： a=Wp 或 联想存储器 联想存储器的任务是学习Q对标准输入/输出向量： {p1,t1}, {p2,t2},…, {pQ,tQ} 图7-1 线性联想器 7.2.2 Hebb规则 wijnew=wijold+tiqpjq 其中tiq是第q个目标向量tq的第i个元素。（设a=1） 上式也可表示为： Wnew=Wold+tqpqT 如果假设将权值矩阵初始值化为0，那么有 其中 性能分析 如果将pk输入到网络，那么网络产生的输出为 所以 假设每个向量pq为单位向量，但是它们之间并不正交，那么 例如，假设原型输入/输出向量为 那么网络的权值矩阵为 用上述两个原型输入验证该权值矩阵，有 获得成功！网络的输出与目标输出相等。 现在，再次考虑在第3章中给出的苹果和橘子的识别问题。其原型输入为 将p1,p2规格化，并选取期望输出为-1和1，则有 这时的权值矩阵为 所以，如果采用上面的两个原型输入模式，分别有 这里的输出接近目标输出，但与目标输出并不能十分匹配。 7.2.3 仿逆规则 线性联想器的任务是对于输入pq产生输出tq，即 如果无法找到使这些等式绝对成立的权值矩阵，那么也希望找到使它们近似成立的权值矩阵。一种方法是：选取一个权值矩阵，使下列性能参数最小化： 7.2.4 应用 自联想存储器 在自联想存储器中，期望输出向量等于网络的输入向量（即 tq=pq ）。 例如，第一个栅格所表示的原型模式相应的输入向量为 向量p1,p2,p3分别与数字0，1，2相对应，使用Hebb规则求权值矩阵： 因为样本向量的元素仅限于取两个值，这里将对线性联想器进行修改，以使其输出单元也仅取值-1或1。为此，可以用一个对称的硬极限传输函数代替原来的线性传输函数。修改后的网络如图7-3所示。 图7-3 用于数字识别的自联想网络 现在来研究网络的运行情况。 7.2.5 Hebb学习的变形 增量规则 无监督的Hebb学习 过滤学习 7.3 小结 Hebb假设 线性联想器 Hebb规则 仿逆规则 Hebb学习的变形 *