支持向量机和应用简介.pptVIP

非线性SVM与核(Kernel)函数 非线性变换 基本思想： 选择非线性映射Φ(X)将x映射到高维特征空间Z，在Z中构造最优超平面 对分类问题 系数可由二次规划 对回归问题 求系数： 回归方程： 这种变换可能比较复杂，因此这种思路在一般情况下不易实现。但是注意到，在上面的对偶问题中，不论是寻优函数还是分类函数都只涉及训练样本之间的内积运算。这样，在高维空间实际上只需进行内积运算，而这种内积运算是可以用原空间中的函数实现的，我们甚至没有必要知道变换的形式。我们看到，通过把原问题转化为对偶问题，计算的复杂度不再取决于空间维数，而是取决于样本数，尤其是样本中的支持向量数。这些特征使有效地对付高维问题成为可能。 定义核函数： 对分类问题 系数可由二次规划 对回归问题 求系数： 回归方程： 核函数矩阵K K(x1,x1) K(x1,x2) K(x1,x3) … K(x1,xN) K(x2,x1) K(x2,x2) K(x2,x3) K(x2,xN) … … … … … K(xN,x1) K(xN,x2) K(xN,x3) … K(xN,xN) 核的要求 Mercer’s theorem: 任何半正定的对称函数都可以作为一个核，即对任意的 常用的核函数： 对任意满足 的g(x)有 应用设想 已经取得了广