2章+基础知识+(续)鹊乃工神经网络常用学习规则.pptVIP

人工神经网络常用的学习规则 MP模型是于1943年由美国心理学家McCulloch和数学家Pitts建立的第一个神经元模型，也可以称为处理单元(Processing Element)，它是一个多输入－多输出的非线性信息处理单元。如图5-6所示，图5-7为MP模型的作用函数。MP神经元是人工神经元模型的基础，也是人工神经网络模型的基础。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 图5-6 MP神经元模型 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 人类具有学习能力，人类的知识和智慧是在不断的学习与实践中逐渐形成和发展起来的。关于人工神经网络的学习机制，涉及到神经元如何分布、处理和存储信息。常用的人工神经网络学习规则如下，图5-8是权值调整的一般情况，其中：Wj为联接到神经元j的权值向量，X为输入向量，r为学习信号，d为导师信号。权向量的调整准则为 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 式中 为学习速率。权值调整的迭代格式为 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 权值调整的一般情况 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 1)Hebbian学习规则 1949年，心理学家D.O.Hebb最早提出了关于神经网络学习机理的“突触修正”的假设。该假设指出，当神经元的突触前膜电位与后膜电位同时为正时，突触传导增强，当前膜电位与后膜电位正负相反时，突触传导减弱，也就是说，当神经元i与神经元j同时处于兴奋状态时，两者之间的连接强度应增强。根据该假设定义的权值调整方法，称为Hebbian学习规则。在Hebbian学习规则中，学习信号简单地等于神经元的输出 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 式中 W为权向量，X为输入向量。权向量的调整公式为 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 权向量中，每个分量的调整由下式确定 上式表明，权值调整量与输入输出的乘积成正比。显然，经常出现的输入模式将对权向量有最大的影响。在这种情况下，Hebbian学习规则需预先设置权饱和值，以防止输入和输出正负始终一致时出现权值无约束增长。此外，要求权值初始化，即在学习开始前 (t=0)，先对Wj(0)赋予零附近的小随机数。Hebbian学习规则代表一种纯前馈、无导师学习。该规则至今仍在各种神经网络模型中起着重要作用。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2)Perceptron（感知器）学习规则 1958年，美国学者Frank Rosenblatt首次定义了一个具有单层计算单元的神经网络结构，称为感知器(Perceptron)。感知器的学习规则规定，学习信号等于神经元期望输出（教师信号）与实际输出之差 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 式中