基于线性无关度的稀疏最小二乘支持向量回归机.pdfVIP

第 l4卷 第6期 中国图象图形学报 Vo1．14，No．6 2009年6月 JournalofImageandGraphics Jun．，2009 基于线性无关度的稀疏最小二乘支持 向量 回归机 赵永平 孙健 国 (南京航空航天大学能源与动力学院，南京 210016) 摘 要 基于线性无关度提 出了一种在高维特征空间中选择近似基的方法，并采用不完全抛弃法 ，充分利用非支 持向量中的信息来建立稀疏最 ／Ix--乘支持向量 回归机的数学模型。另外，采用递推法加快 了其模型的建立 。该模 型在保持预测精度基本不变 的情况下，使支持 向量 的数 目大大减少 。最后 ，通过 3个 UCI数据集验证 了该模型的 有效性。 关键词 最小二乘支持 向量 回归机 线性无关 近似基 不完全抛弃 中图法分类号 ：TP181 文献标识码 ：A 文章编号 ：1006．8961(2009)06一l136一O5 SparseLeastSquaresSupportVectorRegressionM achineBased on theScaleofLinearIndependency ‘ ZHAOYong—ping，SUN Jian—guo (CollegeofEnerg)andPowerEngineering，NanjingUniversityD厂Aeronautics＆Astronautics，Nanjing210016) Abstract Anovelmethodwhich selectstheapproximatebasesofhighdimensionalfeaturespacebased on thescaleof linearindependencyisproposed；andaftercombiningthepresentedmethodwith thepartialreduction strategy，SLS—SVRM (SparseLeastSquaresSupportVectorRegressionMachine)isbuilt．Inaddition，therecursivetrickisusedtoaccelerate theestablishmentofSLS—SVRM．SLS—SVRM obviouslydecreasesthenumberofsupportvectorwithout1OSSofthepredicted accuracy．Finally，threeUCI(universityofCaliforniaatirvine)datasetsconfirm theeffectivenessoftheproposedmode1． Keywords leastsquaressupport vectorregressionmachine，linearindependency，approximatebases，partialreduction 已提出了一些求解最小二乘支持 向量机 的高效方 1 引 言 法 ，如共轭梯度法 及其改进算法 、序贯最小优 化法 和降阶法’。这些算法在一定程度上减少 支持向量机 是一种有力 的解决模式识别和 了计算量 ，加快了训练速度。但是，这些方法求解得 非线性 函数估计的机器学习方法 。。基于不等式 到的最小二乘支持向量机的解都是非稀疏性的 ， 约束的原始支持向量机的解具有稀疏性 的显著特 这就在某种程度上限制了最小二乘支持向量机的应 点，并且与人工神经网络相 比具有较强的泛化能力