基于预测值替代相关向量回归稳健化方法.docVIP

基于预测值替代相关向量回归稳健化方法摘 要：针对相关向量机的性能易受到奇异值影响的情况，提出了一种增强相关向量机稳健性的方法。其主要思想如下：首先用原始训练数据训练相关向量机；然后，利用某种准则，从原始数据中挑选一些样本，用其预测值代替输出变量值；随后，用改变后的训练样本重新训练相关向量机。这个过程可重复几次。数据试验表明，较之相关向量机和变分稳健相关向量机，新算法对奇异值更加不敏感。 关键词：人工智能；支撑向量机；相关向量机；稀疏性；稳健性；奇异值 中图分类号：TP181 文献标识码：A DoI: 10.3969/j.issn.1003-6970.2012.06.001 Relevance Vector Regression Robustization Method Based on Predictive Value Replacement GUo Gao1 JU Hua1 Outlier ratio：奇异值占整个样本的比率(=1-θ); RMSE:检验误差;#RV：相关向量个数。 表3显示，当奇异值比率从0%增加到50%，RVM的检验误差从2.83增加到3.55，VRRVM的检验误差从2.86增加到3.25，新算法的检验误差从2.81到3.12，新算法误差的增长速度是最慢的。同时比较每行中三种算法的检验误差，新算法总是最小的。在模型的稀疏性方面，VRRVM需要140个相关向量，是RVM需要的相关向量(6个)的23倍，是新算法需要相关向量(14个)的10倍。以上结果意味着，对受奇异值污染的数据，新算法在模型的稀疏性和推广能力之间取得一个较好的折中。RVM最稀疏，但其检验误差却最大。VRRVM检验误差较小，但却最稠密。新算法较稀疏，检验误差最小，推广能力最强。 在训练速度方面，当奇异值比率为50%时，RVM、新算法和VRRVM在100个训练集的训练时间总和分别为120.30，1235.90和2937.10 CPU秒。虽然新算法调用标准RVM算法10次，其速度还是比VRRVM快。 传统的高斯噪声模型的一个缺点是它的非稳健性。当观测中包含有奇异值时，其回归函数会发生显著的变化。因为使用了这样一个噪音模型，RVM抗奇异值干扰的能力较差。为了解决此问题，有研究者引入了大方差高斯分布或均匀分布（VRRVM）来解释奇异值现象；还有研究者引入了Student-t噪声模型。这两种模型都需要引入变分方法对其参数进行估计。因为变分方法比RVM使用的type-II极大似然方法[5，12]，在计算上的代价更大，因此这两种模型的稳健性虽有不同程度的提高，但却需要更长的训练时间。另外与标准RVM相比，VRRVM需要更多的相关向量。 为了提高RVM的稳健性，我们提出了一个启发式算法。数据实验表明新算法是有效的。与VRRVM相比，新算法推广能力稍强，但需要的相关向量更少；与RVM相比，新算法稀疏性稍逊，但抗奇异值干扰的能力却远远超过对方。在训练速度方面，新算法比RVM慢，但却比VRRVM快。 后续的工作致力于对新算法进行深入的理论分析，并将其推广到RVM分类[5]、高斯过程回归[13，14]、最小二乘支撑向量回归[10]，以及寻求其在电力负荷预测[15]方面的应用。 [1] HAWKINS DM. Identification of Outliers [M]. Chapman and Hall, London, 1980. [2] 张讲社, 郭高. 加权稳健支撑向量回归方法[J]. 计算机学报. 2005, 28(7): 1171-1177. [3] XU H, CONSTANTINE C, SHIE M. Sparse algorithms are not stable: a no-free-lunch theorem [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(1), 187-193. [4] GUO G, ZHANG G Y, ZHANG J S. A method to sparsify the solution of support vector regression [J]. Neural Computing and Application, 2010, 19(1): 115-122. [5] TIPPING M E. Sparse Bayesian Learning and the Relevance Vector Machine [J]. Journal of Machine Learning Research, 2001, 1: 211-244.