P神经网络模型与学习算法讲义.doc

BP神经网络模型与学习算法 BP神经网络模型与学习算法 1 一，什么是BP 1 二、反向传播BP模型 8 一，什么是BP BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。 我们现在来分析下这些话： “是一种按误差逆传播算法训练的多层前馈网络” BP是后向传播的英文缩写，那么传播对象是什么？传播的目的是什么？传播的方式是后向，可这又是什么意思呢。 传播的对象是误差，传播的目的是得到所有层的估计误差，后向是说由后层误差推导前层误差： 即BP的思想可以总结为 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。? “BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)” 最简单的三层BP： “BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。” BP利用一种称为激活函数来描述层与层输出之间的关系，从而模拟各层神经元之间的交互反应。 激活函数必须满足处处可导的条件。那么比较常用的是一种称为S型函数的激活函数： 那么上面的函数为什么称为是S型函数呢： 我们来看它的形态和它导数的形态： p.s. S型函数的导数： 神经网络的学习目的： 希望能够学习到一个模型，能够对输入输出一个我们期望的输出。 ? 学习的方式： 在外界输入样本的刺激下不断改变网络的连接权值 ? 学习的本质： 对各连接权值的动态调整 学习的核心： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 二，有监督的BP模型训练过程 1. 思想 有监督的BP模型训练表示我们有一个训练集，它包括了： input X 和它被期望拥有的输出 output Y 所以对于当前的一个BP模型，我们能够获得它针对于训练集的误差 所以BP的核心思想就是：将输出误差以某种形式通过隐层向输入层逐层反传，这里的某种形式其实就是： 也就是一种 信号的正向传播 ---- 误差的反向传播的过程： 2.具体 这里解释下根据误差对权值的偏导数来修订权值： 反向传播BP模型 学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算 法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法．而有的算法可能可用于多种模型。不过，有时人们也称算法 为模型。 自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(error BackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。 1．2．1 神经网络的学习机理和机构 在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器；对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。 神经网络在学习中，一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习，而认知器则采用无教师信号学习的。在主要神经网络如BP网 络，Hopfield网络，ART网络和Kohonen网络中；BP网络和Hopfield网络是需要教师信号才能进行学习的；而ART网络和 Kohonen网络则无需教师信号就可以学习。所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。 一、感知器的学习结构 感知器的学习是神经网络最典型的学习。 目前，在控制上应用的是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师学习算法。 一个有教师的学习系统可以用图1—7表示。这种学习系统分成三个部分：输入部，训练部和输出部。 图1-7? 神经网络学习系统框图 输入部接收外来的输入样本X，由训练部进行网络的权系数W调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数W。 学习机构可用图1—8所示的结构表示。 在图中，Xl?，X2?，…，Xn?，是输入样本信号，W1?，