回归型支持向量机的调节熵函数法.pdfVIP

第 24卷 第 11期 控 制 与 决 策 2009年 11月 V01．24 No．1l Control and Decision NOV．2009 文章编号 ：1001—0920(2009)l1—1609—06 回归型支持 向量机 的调节熵函数法 吴 青 ，刘三阳 ，张乐友 (1．西安 电子科技大学 数学科学系，西安 710071；2．西安邮电学院信息与控制系，西安 710061) 摘 要 ：基于最优化理论 中的KKT互补条件建立支持 向量 回归机 的无约束不可微优化模 型，并给 出了一种有效的 光滑近似解法—— 调节熵 函数方法．该方法不需参数取值很大便 可逼近 问题 的最优 解 ，从而避 免了一般熵 函数法为 了逼近精确解，参数取得过大而导致数值 的溢 出现象 ，为求解支持 向量 回归机提供 了一条新途径．数值实验结果表 明，回归型支持 向量机 的调节熵函数法改善 了支持 向量机 的回归性能和效率． 关键词 ：支持 向量机 ；回归；￡一不敏感损失函数 ；调节熵函数；Newton算法 中图分类号 ：TP181 文献标识码 ：A Adjustableentropyfunctionmethodforsupportvectorregression WUQing 。L USan—yang ，ZHANGLe—you (1．DepartmentofMathematicalSciences，XidianUniversity，Xi’an710071，China；2．DepartmentofInformationand Control，Xi’anInstituteofPostsandTelecommunications，xi’an710061，China．Correspondent：WUQing，E—mail： xidianwq@yahoo．com．cn) Abstract：BasedonKarush-Kuhn—Tucker(KKT)complementaryconditioninoptimizationtheory，unconstrainednon— differentialoptimizationmodelsforsupportvectorregressionareproposed，andanadjustableentropyfunctionmethod isgiven．Thismethodcanfindanoptimalsolutionwitharelativelysmallparameter．Itavoidsthenumericaloverflow intheentropyfunctionmethodsavailable．Itisanew approachtOsolvesupportvectorregression．Numericalresults show thatthenew approach improvestheregressionperformanceandincreasesthelearningefficiency． Keywords：Supportvectormachine；Regression；￡一insensitivelossfunction；Adjustableentropyfunction；Newton algorithm 1 引 言 数^，回归性能有了进一步的改善．采用光滑化技巧 近年来 ，建立在统计学习理论基础上的支持 向 解决 SVR的研究尚有很大的发展空间，有待于进一 量机 (SVM)方法 ，已成为数据挖掘和机器学习领域 步深入地研究． 研究的一个热点．SVM作为一种通用有效 的学习 极大熵方法是近几年出现的一种新的数值优化 机 ，已成功地应用于模式分类 、回归分析和密度估计 方法 ，可以有效地处理极大极小 问题和多约束非线 等问题u j．支持 向量 回归