4人工神经网络导论第4章.pptVIP

第 4 章  有监督的Hebb学习 4.1目的 Hebb 规则是最早的神经网络学习规则之一，由Donald Hebb 在1949 年作为大脑的一种神经元突触调整的可能机制而提出，从那以后Hebb规则就一直用于人工神经网络的训练。 本章将运用线性代数的一些概念阐述Hebb 学习的工作原理，并说明如何把Hebb规则用于训练人工神经网络。 4.2 理论和实例 上世纪初，Donald O. Hebb出生于加拿大新斯科舍省的切斯特 。 1925 年在哈利法克斯的Dalhousie大学获得英语学位。 毕业后的Hebb 开始研究弗洛伊德，并对心理学产生了浓厚兴趣，并来到McGill大学攻读心理学硕士学位，完成了关于巴甫洛夫条件反射理论的学位论文。 该书的主导思想是：行为可以由神经元的活动来解释。而这与拥有像B.F.Skinner这样的支持者行为主义心理学会的观点大相径庭，他们强调刺激与反射的关联，并反对任何生理学假说。这是一场自上而下与自下而上的哲学上的争论。 Hebb这样阐述他的方法：“这种称为学习的方法要求个体尽量多地学习其大脑各组成部分所产生的知识(主要在生理学领域)，并尽其所能将这些知识与行为相关联(主要在生理学范畴)，在对大脑各个组成部分的活动加以综合之后，对行为进行预测，并与实际的行为对比，从中发现差异，进而据此对整个大脑的工作原理做出深入的探索”。 4.2.1 线性联想器 线性联想器： Hebb学习规则能用于和多种神经网络结构相组合。 在首次讨论Hebb学习时，将采用一种非常简单的结构。这样读者就能够集中研究学习规则而不专注于结构。这里将使用的网络被称为线性联想器（如图4-1 所示，它是由詹姆士.安德森 提出的）。 图4-1 线性联想器 输出向量 由输入向量 根据下式决定： 或 Hebb规则:请注意在式（4.2）中，输入 和输出 之间的连接（突触）是权值 。所以，Hebb 假设意味着：如果一个正的输入 产生一个正的输出 ，那么应该增加 的值。这就是该假设的一种数学解释，即 这里 为第 个输入向量 的第 个元素， 为把第 个输入向量提交给网络时网络输出的第 个元素， 是一个称为学习速度的正的常数。 这个等式表明：权值的变化与突触两边的活跃函数值的乘积成正比例。 此处把式（4.4）简化成如下形式。 请注意：这里在严格解释的基础上扩展了Hebb 假设，权值的变化与突触每侧活跃值的乘积成比例。 因此，权值不仅在 和 均为正时增大，而且在 和 均为负时也会增大。另外，只要 和 的符号相反，那么Hebb 规则的这种实现将使得权值减小。 对于有监督的Hebb 规则而言，这里将用目标输出代替实际输出。由此，算法被告知的就是网络应该做什么，而不是网络当前正在做什么。得到的等式为 其中 是第 个目标向量的 第 个元素（为了简单起见，这里设学习速度 的值为1）。 请注意，式（ 4.6 ）也可写为如下向量形式： 如果假定将权值矩阵初始化为0，然后 个输入/输出对依次应用式（4.7)那么有