基于AIC的RVM核参数选择方法及其应用.docVIP

基于AIC的RVM核参数选择方法及其应用 　　摘 要：在采用高斯径向基函数的相关向量机（RVM）回归模型中，核参数与模型性能之间关系复杂，针对如何确定RVM核参数的问题，提出一种基于AIC准则选择RVM的核参数的方法。首先基于Akaike Information Criterion （AIC）思想，得出一种新的统计量Q，同时将Q作为适应度函数；然后利用微分进化算法（Differential Evolution Algorithm，DE）对核参数进行寻优，以此选择确定核参数；最后利用该算法建立RVM回归模型对黄金价格进行短期预测。实验结果表明，该模型较传统方法建立的预测模型具有更高的拟合精度和更好的泛化能力，进一步证明基于AIC准则选择RVM的核参数的方法的可行性和有效性。 　　关键词：径向基函数；核参数；相关向量机；微分进化算法；AIC准则；黄金价格 　　中图分类号：TP181 文献标识码：A 　　1 引 言 　　Tipping于2000年提出相关向量机（Relevance Vector Machine， RVM） [1]，它是一种基于总体贝叶斯框架下的稀疏概率模型。由于其具有模型结构稀疏、核函数不需满足Mercer 条件及计算的复杂度相对较低等优势，RVM 方法已经应用于一些分类和预测任务，如：电能质量扰动分类[2]，老年痴呆症临床变量预测[3]，用于中长期径流预报[4]等。但在采用高斯径向基核函数的RVM回归模型中，一方面由于其核参数与 RVM 回归模型性能（拟合精度、泛化能力、相关向量个数）存在复杂的关系，很难用解析关系进行分析，另一方面由于样本数据不可避免地带有噪声，如统计误差等，所以到目前为止，还没有很好的方法来确定核参数，如文献[5]也只是讨论了核参数的比较适当的取值范围。 　　基于此，本文基于Akaike Information Criterion （AIC）思想，首先推导出了一种新的统计量Q，然后提出了以Q为适应度函数，利用微分进化算法（DE）对核参数进行寻优的方法确定核参数的算法，最后利用该算法建立起黄金价格的AIC-RVM回归模型，并与以平均绝对百分误差作适应度函数的MAPERVM回归模型以及基于微分进化算法的支持向量机模型、多维灰色模型、小波神经网络模型等模型进行了比较，结果表明，AICRVM回归模型具有较高的拟合精度和更好的泛化能力，说明了该确定RVM的核参数的方法是有效的。 　　2 相关向量机回归预测模型[3] 　　3 基于AIC的RVM核参数选择算法 　　微分进化算法（DE）是一种通过种群内个体间的合作与竞争来实现对优化问题的求解的群体进化的算法，其本质是一种基于实数编码的具有保优思想的贪婪遗传算法，它的基本操作包括变异、交叉和选择三种操作。由于微分进化算法具有很强的全局寻优功能、较快的收敛速度及较好的稳定性。本文引入微分进化算法对 RVM 的核参数c在参数空间中自动寻优。其中，在寻优过程中，适应度函数的选取是关键。 　　3.1 适应度函数 　　相关向量机的训练是基于自动相关决策理论（Automatic Relevance Determination，ARD ）来移除不相关的点，从而获得稀疏化的模型。令M为经训练得到的相关向量的个数（即ω中不为零的分量ωi的个数），则所获得稀疏化的RVM模型为 　　3.2 基于AIC的RVM核参数寻优算法 　　Step1：输入样本数据。设置DE的最大迭代循环次数D、种群规模Np、放缩因子F及交叉常数CR等参数并设置参数组c的搜索范围。令迭代数j=0。 　　Step2：在所设置的参数c的范围内随机生成初始种群α0s，（s=1，2，…，Np）。利用RVM对ti进行预测得其预测值i，（i=1，2，…，l）。取适应度函数为Q=2L-R2-12R4。计算每个个体的适应度值。记录各个体极值、全局极值和全局极值点。 　　Step3：利用变异、交叉和选择这三种操作对种群进行更新，计算新种群各个体的适应度值，并更新各个体极值、全局极值和全局极值点。 　　Step4：若jD，则迭代的代数j←j+1，转Step3。否则，输出全局极值点c。 　　Step5：利用参数c*建立RVM模型。 　　在该算法中绝大部分处理都集中在适应度的计算上，而RVM训练的时间复杂度为O（N3），从而该算法的时间复杂度为O（NPN3D）。 　　4 世界黄金价格短期预测 　　4.1 实验数据和环境 　　已有的研究表明，引起世界黄金短期价格T（美元/金衡盎司）波动的主要因素有：美元指数x1、道琼斯指数x2、原油价格x3（美元/桶）、美国三十年期债券x4、欧元对美元汇率（一欧元折合美元）x5等[6-8]。本文采用2013年4月1日至2013 年11月10日的188期的世