稀疏隐空间支持向量机.pdfVIP

稀疏隐空间支持向量机∗ 王玲 1) 薄列峰 1) 刘芳 2) 焦李成 1) 1) （西安电子科技大学智能信息处理研究所西安 710071 ） 2) （西安电子科技大学计算机学院西安 710071 ） 摘 要: 本文利用 L1 范数放宽函数集的 VC 维上界，构造出基于 L1 范数的结构风险。在隐空间中，利用 这一结构风险，提出了稀疏隐空间支持向量机。由于 L1 范数具有诱导稀疏性的本质，使得稀疏隐空间支持 向量机获得了良好的稀疏性，并且同隐空间支持向量机一样，稀疏隐空间支持向量机对核函数没有Mercer 条件的限制，扩大了核函数的选择范围。在人工和基准数据集上的分类和回归实验表明，所提算法具有同 支持向量机几乎相当的推广能力，并且其稀疏性优于支持向量机，从而使得函数评价速度大大加快。 关键字: 支持向量机、VC 界、结构风险、分类、回归 中图法分类号 TP18 1 引言 Vapnik 所创立的统计学习理论[1] 的一个核心概念是VC 维，它是描述函数集或学习机器 复杂性的一个重要指标。在此概念基础上，Vapnik 给出了学习机推广能力的界，并提出了 [2] 。该原则综合考虑经验风险和 控制学习过程推广能力的结构风险最小化（SRM ）归纳原则 学习机器的复杂度，从而在保证经验风险最小的条件下，提高学习机器的推广能力。基于结 构风险最小化原则，Vapnik 给出了一种通用的学习机器——支持向量机(SVM)[2]，它的目标 是在 VC 维的意义下构造“稀疏”模型。与其他学习机相比，支持向量机具有良好的推广能 力，已经成为机器学习研究的热点。 支持向量机通过引入 Mercer 核函数[3]实现了从线性到非线性的推广。然而，Mercer 条 [4-5] 件的限制将许多核函数拒之门外。因而许多学者尝试构造新的满足Mercer 条件的核函数 。 张莉等人通过引入隐空间的思想，提出隐空间支持向量机(HSSVM)[6] 。隐空间支持向量机对 核函数没有正定条件的要求，从而扩展了支持向量机核函数的选择范围。 支持向量机的评价速度与支持向量的个数成正比。虽然支持向量机具有一定的稀疏性， 但支持向量的数目随训练样本规模的增大而迅速增长，因而对于大规模数据集，支持向量机 的函数评价非常耗时。然而，隐空间支持向量机不仅没有提高支持向量的稀疏性，反而损失 了支持向量机仅有的一点稀疏性，也就是说隐空间支持向量机不具稀疏性。本文作者在另一 ∗本课题得到国家自然科学基金60133010 ）和国家“八六三”高技术研究发展计划项目基金 （2002AA135080 ）资助。王玲，女，1978 年生，西安电子科技大学博士研究生 [7] 篇文章中提出了最小二乘隐空间支持向量机 ，并证明其推广能力优于隐空间支持向量机， 然而它并没有改变隐空间支持向量机不具稀疏性的缺陷。 为了克服上述问题，一些研究者尝试提出新的稀疏学习机。Tipping 提出的相关向量机 [8]是一种与支持向量机具有相同函数形式的模型。通过利用概率 Bayesian 学习框 （RVM ） 架，RVM 可以使用比 SVM 少的多的基函数。这一 Bayesian 学习过程可以产生高度稀疏的 模型。Robert 等人在文献[9]中提出 LASSO 方法用于逼近线形模型。LASSO 最小化受约束 的残留平方和误差。由于这一约束的本质特性，LASSO 可以使得一些系数严格为零，从而 [10] 能够给出可解释的模型。Volker 在2004 年提出了一个称为广义LASSO 的稀疏核回归模型