基于稀疏特征空间的核方法建模研究.pdfVIP

过程控制 化工自动化及仪表，2009，36(4)：3O一32 ControlandInstrumentsinChemicalIndustry 基于稀疏特征空间的核方法建模研究 刘春波，王鲜芳，潘 丰 (江南大学通信与控制工程学院，江苏无锡 214122) 摘要： 为提高支持向量机在建模方面的拟合性能，针对核函数方法中单个核函数的局限性，尝试融合核支 持向量机建模方法以提高模型的泛化能力和精度。为避免在进行核融合时，支持向量机稀疏性的缺失，提出将数 据映射到稀疏特征空间进行研究。通过仿真研究表明，所建模型在保证稀疏性的前提下，能较好地提高建模精 度，从而验证了算法的有效性。 关键词 ： 核函数；支持向量机；稀疏特征空间；建模 中图分类号：TM301．2 文献标识码 ：A 文章编号：1000-3932(2009)04-0030-03 1 弓l 言 特征空间支持向量机： f 基于结构风险最小化原则，Vapnik给出了一种 1 min(÷ lI+c∑￡)(￡≥0，=12 “，f) (1) 通用的学习机器——支持向量机 (SVM) ，其 目 对二次规划的求解一般转换成对偶规划的求解： 标是在VC维的意义下构造 “稀疏”模型。与其它学 I 1 ． ． t 习机相比，支持向量机具有良好的推广能力，已经获 【÷ aaiyj~k( )( )一a】 () 得了广泛应用 。但 MERCER条件限制了支持 5．t． ∑，，n．=0(0≤a。≤C；i=1，2，…，z) 向量机核函数的选择。如何选择更有效的核，却又 不失支持向量机的稀疏性是一个值得研究的问题。 相应的决策函数可表示为： r l I ， 文中针对此问题进行了相关的研究。特征空间 ，，=sgnl∑ ∑( )(，)+bl (3) 可将支持向量机核函数的选择放松到不需要正定的 此学习机器由于不要求核函数正定，它可采用 要求，从而扩展了支持向量机核函数的选择范围，不 更多的核函数。但不足是由于权重埘不具稀疏性， 足之处却是丧失了稀疏性。为了弥补这一不足，采 导致特征空间支持向量机在对核函数放宽约束条件 用稀疏特征空间的方法来解决这一 问题 。 的同时，损失了其稀疏性。为解决这一不足，可通过 2 稀疏特征空间的支持向量机 在特征空间中将 z范数控制的VC维上界适 当放宽 受前馈神经网络非线性映射能力和函数逼近能 的方法解决。由于支持向量机最初是应用到分类问 力 。’“的启发，考虑将非线性映射的思想引入学习 题，下面从分