正则化路径上的支持向量机贝叶斯模型平均.pdfVIP

第一章绪论 第一章绪论 本章概述研究背景、研究现状和论文主要工作。 1．1研究背景 统计学习理论(StatisticalLearningTheory)[1】是研究利用经验数据进行机器 学习的一种一般理论，属于计算机科学、模式识别和应用统计学相交叉与结合 的范畴，其主要创立者是VladimirN．Vapnik。顾名思义，统计机器学习应该是以 统计学为工具来研究和设计及其学习算法的，但实际上，人工智能界目前所谈的 统计机器学习是具有其特殊含义的。 vector 支持向量机(supportmachine，SVM)[2]是借助于最优化方法解决机器 学习问题的新工具，是以解决有限样本机器学习为目标的统计学习理论基础上 发展起来的一类重要的学习方法。它由Vladimir N．Vapnik及其合作者发明，在 1992年计算机学习理论的会议上介绍进入机器学习领域，之后受到了广泛的关 注。近年来在其理论研究和算法实现方面都取得了突破性进展，并成为克服“维 数灾难”和“过学习”等传统困难的有力手段，使得SVM迅速发展和完善，在 解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推 广应用到函数拟合等其他机器学习问题中。SVM的理论体系涵盖的对象极为广 泛，如对偶表示、特征空间、学习理论、优化理论和算法等。SVM在文本分类、 手写识别、图像分类、生物信息学等领域中获得了比较好的应用。 良好的泛化性能是支持向量机得到广泛应用的原因之一，支持向量机的 泛化性能依赖于超参数(惩罚参数或核参数)的选择。模型选择基于某个准则 Minimum 选择参数，常用的准则包括最小描述长度准则(the DescriptionLength Risk Principle)[3】、经验风险最小化(Structure Information 准(theAkaikeInformationCriterion)【51、BIC信息标准(the Bayesian Criterions)[61、广义近似交叉验证【7】以及交叉验证[8】等。 第一章绪论 1．2研究现状 支持向量机通过引入核函数，隐式地将数据从低维非线性输入空间转换到 高维线性特征空间，然后在高维空间中构造线性判别器实现对输入空间非线性 数据的分类。一般认为支持向量机的最大优点是对问题模块化的解决方案，即 把问题划分成核函数与分类器两个不同的模块，但这种优势只有在核函数及其 参数确定的前提下才有意义。参数选择直接决定着支持向量机的训练效率和应 用效果，这就引出了支持向量机的模型选择问题，这些参数主要包括正则化参数 九以及核参数，一般统称为超参数。 目前超参数的选择一般是通过最优化支持向量机泛化性能实现的。Chapelle 等提出了SVM参数调节的一个规范模型和形式框架[9】，如Span界以及RM界 (Radius-Margin 出了改进的RM界(Modified 出了一种新的模型选择准则【ll】。基于经验误差的模型选择方法还包括交叉验 证【12】以及Wahba的广义近似交叉验证[13]等。在支持向量机的概率框架下，Gold 等通过最大化证据(Evidence)选择超参数[14】。 正则化路径是另一类重要的参数调节方法[15】，凭借其突出的高效性获得了 广泛的关注。Efton等最早给出Lasso的正则化路径算法[16】，Hastie等随后提出 针对支持向量机二分类问题的正则化路径算法SVMpath[17】，Gunter等提出针对 支持向量回归问题的正则化路径算法【18】，Bach等给出多核学习正则化路径的 计算方法【19】。Hastie等的SVMpath算法可在相当于一次SVM求解的复杂度内， 得到所有的正则化参数以及对应的解路径。为了能够正确处理有重复样本、近 似重复样本、或线