支持向量机原理.docxVIP

支持向量机原理 支持向量机原理 支持向量机原理 支持向量机于1995年正式发表，由于在文本分类任务中显示出卓越性能，很快成为机器学习的主流技术，并直接掀起了“统计学习”在 2000年前后的高潮。但实际上，支持向量机的概念早在20世纪六十年代就已经出现，统计学习理论在70年代就已成型。对核函数的研究更早，Mercer定理可追溯到1909年，RKHS则在40年代就已被研究，但在统计学习兴起后，核技巧才真正成为机器学习的通用基本技术。 支持向量机(support vector machine)是一种分类算法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。支持向量机是针对二分类任务设计的，对多分类任务要进行专门的推广，对带结构输出的任务也已有相应的算法。 核函数直接决定了支持向量机于核方法的最终性能，但遗憾的是，核函数的选择是一个未决问题。多核学习使用多个核函数并通过学习获得其最优凸组合作为最终的核函数，这实际上是在借助集成学习机制。 替代损失函数在机器学习中被广泛使用。但是，通过求解替代损失函数