基于混合智能学习算法的系统预测模型研究.pdfVIP

计算机科学2007V01．34No．8A 基于混合智能学习算法的系统预测模型*) APredictive013Mixed System IntelligenceLearningAlgorithm 千—=|李娟 曾黄麟 (四川理工学院 自贡643000) 络中权值的大小，使得对拟合精度贡献不大的权值 1 引言 在网络中的作用趋于零，缩小网络的规模。贝叶斯 系统预测的实质就是通过对系统测试的一些历 正则化算法(Bayesian 史数据拟合，建立一个系统模型，即得到一个系统函 网络中的有效权值，通过修正神经网络的训练性能 数，根据得到的该函数就可以计算出以后某一时刻 函数来增强系统的泛化能力【5．6l。一般情况下，神 的数据，从而达到系统预测的目的。人工神经网络 经网络的训练性能函数采用均方误差函数ED，即 在系统预测、函数逼近等领域获得广泛应用[1]，其中 ED一∑(白)2一∑(瓦一m)2 (1) 误差反向传播算法[2’3]BP(Back PropagationAlgo- 其中，ai是系统期望输出值，ti是网络实际输出值。 rithm)是利用神经网络建立一个预测系统的最有 在正则化方法中，典型目标函数中增加了网络权值 效、最常用的学习方法，它用一组训练样例对网络进 平方和均值，网络性能函数经改进变为如下形式： 行训练，每一个样例都包括输入及期望的输出两部 分，以网络实际输出与样例的期望输出进行比较，如 E=aED+腽 (2) 果实际输出模式与期望输出模式有不能满足要求的 (2)式中E=∑西。口与p为参数，若口卢，则训 误差存在，则沿原来的连接通路逐层返回，并利用两 练算法使网络-误L,差较小；反之若口卢，则训练强 者的误差按一定的原则对各层节点的连接权值进行 调权值的减小，而网络误差相应较差，最终使得神经 调整，使网络实现从输入模式到输出模式的正确映 网络的输出更加平滑，防止出现极小点。 射，使误差逐步减小，直到满足要求时为止。 通过采用新的性能指标函数，可以在保证网络 但标准BP算法存在着易陷入局部极小、收敛 训练误差尽可能小的情况下使网络具有较小的权 速度慢和过度训练等问题14J，有鉴于此，人们在标准 值，即使得网络的有效权值尽可能小，这实际上相当 BP算法的基础上进行了许多有益的改进，如共轭梯 于自动缩小了网络的规模。常规的正则化算法很难 度学习算法、quasi—Newton算法以及Levenberg- 确定比例系数a，卢的大小，而贝叶斯正则化方法根 Marquardt优化方法等【117J，但是基于这些算法的预 测系统在对历史数据进行拟合的过程中，泛化能力 阈值进行调整，在网络训练中自适应地调节目标函 却没有达到理想的效果，而泛化能力是衡量系统性 数参数口，口的大小，并使其达到最优。 能的重要标志。 BP网络中，输入数据确定，由贝叶斯正则化规 本文采用Bayesian正则化算法来解决标准BP