人工神经网络在寿命周期成本估算中的应用研究.docVIP

人工神经网络在寿命周期成本估算中的应用研究 4．1 概况 人工神经网络(Artificial Neural Network)理论是80年代中后期迅速发展起 来的一个前沿研究领域。人工神经网络就是由许多神经元互连在一起所组成的 神经结构，把神经元之间相互作用的关系进行数学模型化就可以得到神经网络 模型。人工神经网络是一种非常复杂的非线性的动态分析系统。它模拟人脑的 神经功能分层由单个神经元非线性地、复杂地组合成一个网络系统。当某一问 题的求解过程可描述为若干个有一定内在联系，又无法用解析法表达其内在关 系的各个输入因子与输出因子的关系时，将输入、输出因子作为样本进入神经 元网络结构，网络系统会对各个输入、输出因子的因果关系作一番认识和学习， 建立起各神经元之间的连接强度(即权值)阀值。这样学习后生成的人工神经元 网络系统，仿佛具有了人脑解决这一问题的技能。当输入一组新的参数它可以 给出这个领域专家认为应该输出的数值。【251 神经网络在目前已有几十种不同的模型，在人们提出的几十种神经网络模 型中，人们较多用的是Hopfield网络、BP网络．Kohonen网络和ART(白适应共 振理论)网络。其中BP网络是反向传播(Back Propagation)网络，它是一种多层 前向网络，采用最小均方差学习方式，这是一种最广泛应用的网络。 4．2 BP算法的原理 自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习 算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(errorBack Propagation)法影响最为广泛。误差反向传播网络(简称BP网络)是一种具有三 层或三层以上的多阶型神经网络，上、下层各种经元之间实现全连接，而层内 各神经元之间无连接。网络按照有教师示教的方式进行学习。一输入模式从输 入层经过隐含层向输出层传播，在输出层的各神经元获得网络的输出响应，每 一层神经元的状态只影响下一层神经元的状态。如果在输出层得不到期望的输 出，则转入反向传播，将误差信号沿原来的连接通路逆行返回，直至输入层， 通过修改各层神经元的权值和阀值，使得误差信号最小，故而得名“误差逆 传播算法”，该法是目前应用最为广泛的算法。典型的BP网络结构如图4．1所 示。【1 7】 BP神经网络含有输入层、输出层和处于输入输出层之间的中间层。中间层 有单层或多层，由于它们和外界没有直接的联系，故也称为隐含层。[211隐含层 虽然和外界不连接，但是，它们的状态则影响输入输出之间的关系。也就是说， 改变隐含层的权函数，可以改变整个网络的性能。【22】  图4-1 BP网络结构图 设有一个m层的神经网络，并在输入层加有样本x，设第k层的i神经元 的输入总和表示为Ui。，输出Xi。；从第k-1层的第j个神经元到第k层的第i 个神经元的权系数为wi。，各个种经元的激发函数为f，则各个变量的关系可用 下面有关数学式表示： X：=f哪：) 町=Σ％x尸 (4．1) (4．2) 反向传播算法(也称BP算法)分二步进行，即正向传播和反向传播。 正向传播：输入的样本从输入层经过隐含单元一层一层进行处理，通过所 有的隐含层之后，则传向输出层：在逐层处理的过程中，每一层神经元的状态 则对下一层神经元产生影响。在输出层把现行输出和期望输出进行比较，如果 现行输出不等于期望输出，则进入反向传播过程。 反向传播：反向传播时，把误差信号按原来正向传播的通路传回，并对每 个隐含层的各个神经元的权系数进行修改，以望误差信号趋向最小。 4．3 BP算法的数学表达 BP算法实质是求误差函数的最小值问题，‘这种算法采用非线性规划中的最 速下降方法，按误差函数的负梯度方向修改权函数。[281 定义误差函数e。取期望输出和实际输出之差的平方和为误差函数，则有： 1 P=三y(x7一y12 (4．3) 2,-y ‘ 其中：Yi是输出单元的期望值，它在这里用作教师信号； xi“是实际输出，因为第m层是输出层。 由于BP算法按误差函数e的负梯度方向修改权函数，故权函数的修改量：  由于 故而 从而 令 一0e：旦．盟a％auj a％ =x川。 △％叫斋2叫击掣 非熹 则有学习公式： △％=唧·d?·z尸 (4．4) (4．5) (4．6) (4．7) (4．8) (4．9) 其中：”为学习速率，即步长，一般取O～1之间的数。 从上面可知，盔。实际仍未给出明显的算法公式，下面求d‘的计算公式： 令弘击=鲁·筹 从公式(4-1)可知： (4一10) 番《㈣(4-11) 为了方便进行求导，取f为连续函数。一般取非线性连续函数，例如Sigmoid 函数： ，(研)2而而1而 则有：，’(Uj)=百e而xp(-U,