2章节+基础知识+(续)人工神经网络常用学习规则.ppt

人工神经网络常用的学习规则 MP模型是于1943年由美国心理学家McCulloch和数学家Pitts建立的第一个神经元模型，也可以称为处理单元(Processing Element)，它是一个多输入－多输出的非线性信息处理单元。如图5-6所示，图5-7为MP模型的作用函数。MP神经元是人工神经元模型的基础，也是人工神经网络模型的基础。 图5-6 MP神经元模型 人类具有学习能力，人类的知识和智慧是在不断的学习与实践中逐渐形成和发展起来的。关于人工神经网络的学习机制，涉及到神经元如何分布、处理和存储信息。常用的人工神经网络学习规则如下，图5-8是权值调整的一般情况，其中：Wj为联接到神经元j的权值向量，X为输入向量，r为学习信号，d为导师信号。权向量的调整准则为 式中 ?为学习速率。权值调整的迭代格式为 权值调整的一般情况 1)Hebbian学习规则 1949年，心理学家D.O.Hebb最早提出了关于神经网络学习机理的“突触修正”的假设。该假设指出，当神经元的突触前膜电位与后膜电位同时为正时，突触传导增强，当前膜电位与后膜电位正负相反时，突触传导减弱，也就是说，当神经元i与神经元j同时处于兴奋状态时，两者之间的连接强度应增强。根据该假设定义的权值调整方法，称为Hebbian学习规则。在Hebbian学习规则中，学习信号简单地等于神经元的输出 式中 W为权向量，X为输入向量。权向量的调整公式为 权向量中，每个分量的调整由下式确定 上式表明，权值调整量与输入输出的乘积成正比。显然，经常出现的输入模式将对权向量有最大的影响。在这种情况下，Hebbian学习规则需预先设置权饱和值，以防止输入和输出正负始终一致时出现权值无约束增长。此外，要求权值初始化，即在学习开始前 (t=0)，先对Wj(0)赋予零附近的小随机数。Hebbian学习规则代表一种纯前馈、无导师学习。该规则至今仍在各种神经网络模型中起着重要作用。 2)Perceptron（感知器）学习规则 1958年，美国学者Frank Rosenblatt首次定义了一个具有单层计算单元的神经网络结构，称为感知器(Perceptron)。感知器的学习规则规定，学习信号等于神经元期望输出（教师信号）与实际输出之差 式中 为期望的输出 ，。 感知器采用了与阈值转移函数类似的符号转移函数，其表达为 式中，当实际输出与期望值相同时，权值不需要调整；在有误差存在情况下，由于 、 ， 权值调整公式简化为 感器学习规则只适用于二进制神经元，初始权值可取任意值。 感知器学习规则代表一种有导师学习。由于感知器理论是研究其他神经网络的基础，该规则对于神经网络的有导师学习具有极为重要的意义。 3)δ(Delta)学习规则 1986年，认知心理学家McClelland和Rumelhart在神经网络训练中引入了δ规则，该规则亦可称为连续感知器学习规则，与上述离散感知器学习规则并行。δ规则的学习信号规定为 上式定义的学习信号称为。式中是转移函数的导数。显然，规则要求转移函数可导，因此只适用于有导师学习中定义的连续转移函数，如Sigmoid函数。 事实上，规则很容易由输出值与期望值的最小平方误差条件推导出来。定义神经元输出与期望输出之间的平方误差为 式中，误差E是权向量Wj的函数。欲使误差E最小，Wj应与误差的负梯度成正比，即 式中，比例系数η是一个正常数。由式(5-12)，误差梯度为 可以看出，上式中η与X之间的部分正是式(5-11)中定义的学习信号δ。ΔWj中每个分量的调整由下式计算 学习规则可推广到多层前馈网络中，权值可初始化为任意值。 4)Widrow-Hoff学习规则 1962年，Bernard Widrow和Marcian Hoff提出了Widrow-Hoff学习规则，又称为最小均方规则(LMS)。Widrow-Hoff学习规则的学习信号为 权向量调整量为.. 的各分量为 实际上，如果在学习规则中假定社会元转移函数为 ，则有， 此时式(5-11)与式(5-17)相同。 因此，Widrow-Hoff学习规则可以看成是学习规则的一个特殊情况。该学习规则与神经元采用的转移函数无关，因而不需要对转移函数求导数，不仅学习速度较快，而且具有较高的精度。权值可初始化为任意值。 5) Correlation（相关）学习规则 相关学习规则学习信号为 易得出分别为 该规则表明，当dj是xi的期望输出时，相应的权值增量Δωij与两者的乘积djxi成正比。 如果Hebbian学习规则中的转移函数为二进制函数，且有oj=dj，