完整的神经网络汇编.doc

学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算 法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法．而有的算法可能可用于多种模型。不过，有时人们也称算法 为模型。 自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(error BackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。 1．2．1 神经网络的学习机理和机构 在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器； 对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。 神经网络在学习中，一般分为有教师和无教师学习两种。 感知器采用有教师信号进行学习， 而认知器则采用无教师信号学习的。 在主要神经网络如BP网 络，Hopfield网络，ART网络和Kohonen网络中；BP网络和Hopfield网络是需要教师信号才能进行学习的；而ART网络和 Kohonen网络则无需教师信号就可以学习。所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。 一、感知器的学习结构 感知器的学习是神经网络最典型的学习。 目前，在控制上应用的是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师学习算法。 一个有教师的学习系统可以用图1—7表示。这种学习系统分成三个部分：输入部，训练部和输出部。 图1-7? 神经网络学习系统框图 输入部接收外来的输入样本X，由训练部进行网络的权系数W调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数W。 学习机构可用图1—8所示的结构表示。 在图中，Xl?，X2?，…，Xn?，是输入样本信号，W1?，W2?，…，Wn?是权系数。输入样本信号Xi?可以取离散值“0”或“1”。输入样本信号通过权系数作用，在u产生输出结果 ∑Wi?Xi?，即有： u=∑Wi?Xi?=W1?X1?+W2?X2?+…+Wn?Xn 再把期望输出信号Y(t)和u进行比较，从而产生误差信号e。即权值调整机构根据误差e去对学习系统的权系数进行修改，修改方向应使误差e变小，不断进行下去，使到误差e为零，这时实际输出值u和期望输出值Y(t)完全一样，则学习过程结束。 神经网络的学习一般需要多次重复训练，使误差值逐渐向零趋近，最后到达零。则这时才会使输出与期望一致。故而神经网络的学习是消耗一定时期的，有的学习过程要重复很多次，甚至达万次级。原因在于神经网络的权系数W有很多分量W1?，W2?，----Wn?；也即是一个多参数修改系统。系统的参数的调整就必定耗时耗量。目前，提高神经网络的学习速度，减少学习重复次数是十分重要的研究课题，也是实时控制中的关键问题。 二、感知器的学习算法 感知器是有单层计算单元的神经网络，由线性元件及阀值元件组成。感知器如图1-9所示。 图1-9?? 感知器结构 感知器的数学模型： (1-12) 其中：f[.]是阶跃函数，并且有 (1-13) ? θ是阀值。 感知器的最大作用就是可以对输入的样本分类，故它可作分类器，感知器对输入信号的分类如下： (1-14) 即是，当感知器的输出为1时，输入样本称为A类；输出为-1时，输入样本称为B类。从上可知感知器的分类边界是： (1-15) ? 在输入样本只有两个分量X1，X2时，则有分类边界条件： (1-16) ? 即 ???? W1?X1?+W2?X2?-θ=0?????? (1-17) 也可写成 (1-18) 这时的分类情况如固1—10所示。 感知器的学习算法目的在于找寻恰当的权系数w＝(w1．w2，…，Wn)，使系统对一个特 定的样本x＝(xt，x2，…，xn)熊产生期望值d。当x分类为A类时，期望值d＝1；X为B类 时，d=-1。为了方便说明感知器学习算法，把阀值θ?并人权系数w中，同时，样本x也相应增加一 个分量xn+1?。故令： Wn+1?=-θ，Xn+1?=1????? (1-19) 则感知器的输出可表示为： (1-20) 感知器学习算法步骤如下：1．对权系数w置初值对权系数w＝(W1?．W2?，…，Wn?，Wn+1?)的各个分量置一个较小的零随机值，但Wn+1?＝—g。并记为Wl?(0)，W2?(0)，…，Wn?(0)，同时有Wn+1(0)＝-θ?。这里Wi?(t)为t时刻从第i个输入上的权系数，i＝1，2