机器学习 课件 6.4非线性支持向量机分类器与核函数.pdf

非线性SVM分类器与核函数

非线性支持向量机分类器

非线性支持向量机非线性超平面

•基于Mercer核展开定理，通过用内积函数定义

的非线性变换，将输入空间映射到高维特征空间

（Hilbert空间），在这个高维空间中寻找输入变

量和输出变量之间的关系。

核方法

核函数

,∈

核函数：对所有核函数K满足：

,=⋅

这里从到特征空间H的映射。

凡是满足Mercer定理的函数都可以作为支持向量机的核函数

核函数

•已知映射函数，通过内积求得核函数K，不用构造映射函数能否直接判

断一个给定的函数是否是核函数K？或者说K满足什么条件才是核函数？

K:R

正定核的充要条件：设是对称函数，则K（x,z）为正定核函

x,i1,2,m,

数的充要条件是对任意对应的Gram矩阵i

K[K(x,x)]

ijmm

是半正定矩阵。

ØMercer定理可以得到Mercer核，正定核比Mercer更具一般性

核函数

常用的核函数

（1）多项式形式的核函数

K(x,y){(xy)1}d

此时得到的支持向量机是一个d阶多项式分类器。

核函数

常用的核函数

（2）径向基函数形式的核函数

22

K(x,y)exy/2

此时得到的支持向量机是一种径向基函数分类器。

它与传统径向基核函数（RBF）方法的基本区别：每一个核函数的中

心对应于一个支持向量，它们以及输出权值是由算法自动确定。

核函数

常用的核函数

（3）Sigmoid函数形式的核函数

K(x,y)tanh(kxy)

得到的支持向量机实现的两层的多层感知器神经网络

网络的权值、网络的隐层节点数目由算法自动确定。

核函数

常用的核函数

（4）点积形式的核函数

K(x,y)xy

此时得到的支持向量机是线性的分类器。

核函数

常用的核函数

判断一个支持向量机分类器性能的关键指标有两个：

Ø学习能力

Ø推广能力

核函数

常用的核函数

Ø学习能力：分类器从训练数据中建立正确的分类模型的能力

Ø推广能力：指这个模型对未知数据进行正确预测的能力。

推广能力的强弱更能反映分类器性能的好坏，因为设计分类器的目的

就是对未知数据进行分类。

非线性支持向量机



•非线性映射把数据从输入空间映射到高维特征空间

•在高维特征空间中进行线性分类，映回

到原空间后就成了输入空间中的非线性

分类

,⋅

为避免高维空间的复杂计算，支持向量机采用核函数