神经网络预测.doc

神经网络预测 6.1 概述 在众多的人工神经网络模型当中，Hopfield网络和BP网络是应用得比较广泛 的神经网络模型，其在预测科学中有着重要的用途。在此，我们简要探讨这两种 模型。 6.1.1 Hopfield神经网络简介 Hopfield神经网络的数学模型为 Nduu,iiCITV,,，，,iijj,dtRj,1 , ,Vg(u)i1,2,？,N,,ii, 上述模型可以简化为如下形式: Ndu,iCTVI,，,ijji,dtj,1 , ,Vg(u)i1,2,？,N,,ii, 定义系统的能量函数为 NNN1E,,,TVV,VI ,,,ijijii2,1,,11iji dVdEdE[13]i,0,0,0可以证明:且的充要条件是，即系统的稳定平衡点dtdtdt E就是函数的极小点。因此该网络的运算过程实际上就是一个局部极小的寻优过 程，目标函数就是该网络系统的能量函数。 6.1.2 BP神经网络简介 1.BP算法的步骤如下: (1)初始化，选定合理的网络结构，置所有可调参数(权和阈值)为均匀分 布的较小数值。 (2)对每个输入样本作如下计算: lj? 前向计算 对第层的单元 p()()(,1)lllV(n),,y(n) ,jjii,1i (l,1)i,0i其中，为前一层((l,1)层)的单元送来的工作信号(时置y(n)i (l,1)(l)(l)y(n),,1,,(n),,(n)j)，若单元的作用函数为Sigmoid函数，则 0j0j 81 1(l) y(n),j(l)1，exp(,v(n))j 且 (l)(l) ,(V(n)),y(n)(1,y(n))jjjj l,1若神经元属于第1隐层()，则有 j (0) y(n),x(n)jj l,L若神经元属于输出层()，则有 j L() y(n),Q(n),e(n),d(n),Q(n)jjjjj ,?反向计算对输出单元 LL()() ,(n),e(n)O(n)(1,O(n))jjjj 对隐单元 lllll()()()(，1)(，1) ,(n),y(n)[1,y(n)],(n),(n),jjjkkjk ?按下式修正权值: (l)(l)(l)(l,1),(n，1),,(n)，,,(n)y(n) jijijj N12n,n，1(3)，输出新的样本(或新一周期样本)直至达到预e(n),,j2NnC,,1j定要求。 2.BP网络及算法的不足 比起早期的神经网络，BP网络无论在网络理论还是网络性能方面都更加成熟，其突出的优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的处理单元数及网络学习系数可根据具体情况任意设定，并且随着结构的差异其性能也有所不同。 但是，BP网络并不是一个十分完善的网络，它存在以下一些主要缺陷; 1)学习收敛速度太慢，即使一个比较简单的问题，也需要几百次甚至上千次的学习才能收敛。 2)不能保证收敛到全局最小点。 3)网络隐含层的层数及隐含层的单元数的选取尚无理论上指导，而是根据经验确定。因此，网络往往有很大的冗余性，无形中也增加了网络学习的时间。 4)网络的学习、记忆具有不稳定性。一个训练结束的BP网络，当给它提供新的记忆模式时，将使已有的连接权打乱，导致已记忆的学习模式的信息消失。要避免这种现象，必须将原来的学习模式连同新加入的新学习模式一起重新进行 82 训练。而对于人类的大脑来说，新信息的记忆不会影响已记忆的信息，这就是人类大脑记忆的稳定性。 6.2 Hopfield网络预测 前面提及过，为现实系统建立其完整的预测数学模型是比较困难的，但由于各种变量之间存在一定的关系，所以人们可以利用拟合数学模型来拟合因变量与自变量之间的关系。 设系统数学模型为 ?? y,f(x,x,？,x)12n 根据我们在前面介绍的台劳级数原理，可以利用下列模型来拟合，即有 NNN y,,，,x，,xx，,xxx，？0,,,,,,jjijijijkijk,,,,,,111jjjijjiik 式中，为待估参数。在通常情况下，运用二阶来拟合就可以了。,,,,,,,,？0jijijk 在估计出各参数后，就能够实现预测功能了。 ?设为样本数，y(p,1,2,？,p)为因变量，为自变量，要求 px(,1,2,？,N)ppj P12?Q,(y,y) ,pp2,1p 达到极小，其中y为拟合模型的输出。 p 定义系统的能量函数为 E,Q P12?,(y,y) ,pp2,1p PNNN12?,,(，,x，,xx，,xxx，？,y),,,,,,,0jpjijpipjijkpipjpkp2,1,,,,,,111pjjjijjiik 取二阶，有 P12?E,(y,y),pp2,1p PNN12?,(,，,x，,xx,y),,,,0jp