一种改进的相关向量回归方法.pdfVIP

第 15卷 第2期 2015年 1月 科 学 技 术 与 工 程 ~o1．15 No．2 Jan．2015 1671— 1815(2015)02—0241—05 ScienceTechnologyandEngineering ⑥ 2015 Sci．Tech．Engrg． 计算机技术 一 种改进的相关向量回归方法 杨 飚 周 阳 (北方工业大学机 电工程学院，北京 100144) 摘 要 相关向量回归(relevancevectormachine，RVR)是一种非线性回归方法。当样本集中存在少量异常点时，RVR方法能 够得到鲁棒的回归模型。随着异常点增加，求得的回归模型的泛化能力下降。针对这种情况，实现了一种改进的相关向量回 归方法。首先重新定义样本子集 和根据最小截平方和估计理论重新定义RVR回9-5的似然函数；然后利用贝叶斯推论求解 边际最大似然函数；最后使用迭代法迭代求解最大似然函数的最优超参数 、卢以及子集 ，并使用超参数 、得到回9-3模型。 通过证明和实验结果表明，算法具有鲁棒性，而且当样本集中的异常点增加时，依然具有较高的鲁棒性。 关键词 相关向量机 非线性回归 最小截平方和估计 似然函数 鲁棒性 中图法分类号 TP18； 文献标志码 A 相关向量机 (relevancevectormachine，RVM)是 为 目标输出。通过统计学习可得 X和Y的模型函数 一 种基于稀疏贝叶斯概率模 型的机器学 习方 法 卫。RVM在 回归领域 、分类领域 广泛应 f(x，w)=∑Wik(x，Xi)+W。 (1) 用。在 回归方面，RVM 由于不受 Meter定理的影响 式 (1)中：W=(。，伽 ，… ， )表示模型的权值 ； 可以选择任意的核函数，具有较好的泛化能力；同 k(x，)是核函数。假设观测样本集 { ,Yi 中的 时，它具有高稀疏性，需要的支持向量数量较少，可 目标输出Y与输入向量 是独立分布的样本，则两 减少计算量。但是，RVR方法同最小二乘估计 、 者之问的关系 支持向量回归 等非线性回归方法一样，当样本集 Y =／【 ，w)+ (2) 中不存在或者存在少量异常点时，RVR可得到鲁棒 式(2)中：噪声 服从N(O， )的正态分布且与Y 的回归模型。而随着样本集 中异常点的增加，回归 相互独立。由于 目标输出Y独立分布，则观测样本 模型的泛化能力下降。针对这种情况 ，Tipping等 集的似然函数 提出了异常点服从 t分布 的改进相关 向量 回归 (TSRVR)。当样本集异常点较少时，TSRVR可得到 P(yl )=()唧{ )(3) 鲁棒的回归模型。但样本集中有大量异常点时， 式 (3)中： =1／6； 是由k(x，)组成的』7v(Ⅳ十1) TSRVR回归的鲁棒性大幅下降。针对这种情况，提 矩阵； ：[(。)，()，…，()]且 ()= 出了一种改进相关向量回归方法。通过证明和仿真 [1，k(x，1)，k(x，X)，…，k(x， )]’。最大化式 测试可知，算法具有鲁棒性，当样本集中的异常点增 加时，方法的鲁棒性优于其他的相关向量回归方法。 (3)可得到权值 的最大似然估计。当噪声服从正 态分布时，最大似然估计等同于最小二乘估计 。然后 1 相关向量回归 使用贝叶斯理论