基于核函数的学习算法.pptVIP

引言;理论基础

监督学习:SVM、KFD

无监督学习：KPCA

模型选择;理论基础;SLT(StatisticalLearningTheory);机器学习;风险最小化－机器学习问题表示

;VC维;监督学习:SVM、KFD

（3）

测试样本在这个向量上的投影系数就是所提取的测试样本的特征值。

(x1,y1),(x2,y2),···,(xn,yn)

W*就是J(w)中的极值解,也就是矩阵S-1ωSb的最大特征值对应的特征向量。

式(1)中的ω和b乘以系数后仍能满足方程，进行归一化处理之后，对于所有样本xi，式|ω·xi+b|的最小值为1,则样本与此最优超平面的最小距离为|ω·xi+b|/‖ω‖=1/‖ω‖,那么最优超平面应满足条件:

相应的分类判决函数转变为:

在第i次(i=1,…k)训练时,要用除了第i个子集的所有子集训练模型,再用得到的模型对第i个子集计算误差.

对于分类问题，支持向量机方法根据区域中的样本计算该区域的分类曲面，由该曲面决定该区域中的样本类别。

可以证明，在此寻优问题的解中有一部分ai不为0，它们所对应的训练样本完全确定了这个超平面，因此称其为支持向量(supportvector)。

(x1,y1),(x2,y2),···,(xn,yn)

由此,式(5)的对偶形式可变