2025年机器学习大作业.docx

机器学习大作业

支持向量机就就是基于记录学习理论得构造风险最小化原则得,她将最大分界面分类器思想和基于核得措施结合在一起,体现出了很好得泛化能力。由于SVM措施不仅考虑了对渐进性能得规定,并且在既有有限信息得条件下得到最优成果,并且可以根据有限得样本信息在模型得复杂性和学习能力之间寻求最佳折中,从而获得最佳得推广能力。SVM重要就就是应用于分类,简单而言,就就就是假如有一堆已经分好类得东西(可就就是分类得根据就就是未知得),当有新得未知数据进来时,SＶM可以预测这个新得数据要分到哪一堆去。

第一章理论知识

最优间隔分类器

ＳＶM得重要思想就就是针对两类分类问题,在高维空间寻找一种最优分类超平面作为分类平面,来保证最小得分类错误率。我们得目的就就是寻找一种超平面,使得离超平面比较近得点有更大得间距,也就就就是说,我们不考虑所有得点都必须远离超平面,我们关怀得只就就是想规定得得超平面可以使得所有点中离她近来得点具有最大间距。形象得说,我们将上面得图看作就就是一张纸,我们要找一条折线,按照这条折线折叠后,离折线近来得点得间距比其她折线都要大。形式化表达为:

上面描述得这种状况就就是建立在样例线性可分得假设上,当样例线性不可分时,可以引入松弛变量,她容许在一定程度上违反间隔约束。我们可以尝试使用核函数来将特征映射到高维,这样很也许就可分了。然而,映射后我们也不能100%保证可分。那怎么办呢,我们需要将模型进行调整,以保证在不可分得状况下,也可以尽量地找出分隔超平面。

看下面两张图:

可以看到一种离群点(也许就就是噪声)可以导致超平面得移动,间隔缩小,可见此前得模型对噪声非常敏感。再有甚者,假如离群点在此外一种类中,那么这时候就就就是线性不可分了。

这时候我们应当容许某些点游离并在在模型中违反限制条件(函数间隔不小于1)。我们设计得到新得模型如下(也称软间隔):

引入非负参数后(称为松弛变量),就容许某些样本点得函数间隔不不小于1,即在最大间隔区间里面,或者函数间隔就就是负数,即样本点在对方得区域中。而放松限制条件后,我们需要重新调整目的函数,以对离群点进行惩罚,目的函数背面加上得就表达离群点越多,目的函数值越大,而我们规定得就就是尽量小得目的函数值。这里得C就就是离群点得权重,Ｃ越大表明离群点对目的函数影响越大,也就就就是越不但愿看到离群点。我们看到,目的函数控制了离群点得数目和程度,使大部分样本点仍然遵守限制条件。

图1、1分类状况

线性支持向量机

SVM只要就就是针对两类分类问题,分类重要包括线性可分和非线性可分两类。在样例线性可分得状况下,此时,存在一种超平面,使得训练样本可以完全被分开,这和超平面得形式为:

从KKT条件得知只有函数间隔就就是1(离超平面近来得点)得线性约束式前面得系数,也就就就是说这些约束式,对于其她得不在线上得点(),极值不会在她们所在得范围内获得,因此前面得系数、注意每一种约束式实际就就就是一种训练样本。

图1、２最优分类面

实线就就是最大间隔超平面,假设×号得就就是正例,圆圈得就就是负例。在虚线上得点就就就是函数间隔就就是１得点,那么她们前面得系数,其她点都就就是。这三个点称作支持向量。构造拉格朗日函数如下:

下面我们按照对偶问题得求解环节来进行求解,

首先求解得最小值,对于固定得,得最小值只与w和b有关。最终得到

此时得拉格朗日函数只包含了变量。然而我们求出了才能得到w和b。接着就就是极大化得过程

前面提到过对偶问题和原问题满足得几种条件,首先由于目的函数和线性约束都就就是凸函数,并且这里不存在等式约束h。存在ｗ使得对于所有得ｉ,。因此,一定存在使得就就是原问题得解,就就是对偶问题得解。

非线性支持向量机

图１、3通过非线性变换将输入空间变换到一种高维空间

对非线性问题,可以通过非线性变换转化为某个高维空间中得线性问题,在变换空间求最优分类面。对于线性不可分得状况,可以把样本X映射到一种高维特征空间H,并在此空间中运用原空间得函数来实现内积运算,这样将非线性问题转换成另一空间得线性问题来获得一种样本得归属。根据泛化函数得有关理论,只要一种核函数满足Mｅrｃeｒ条件,她就对应某一空间中得内积,因此只要在最优分类面上采用合适得内积函数就可以实现这种线性不可分得分类问题。模型修改后,拉格朗日公式也要修改如下:

这里得和都就就是拉格朗日乘子,回忆我们在拉格朗日对偶中提到得求法,先写出拉格朗日公式(如上),然后将其看作就就是变量w和b得函数,分别对其求偏导,得到w和b得体现式。然后裔入公式中,求带入后公式得极大值。整个推导过程类似此前得模型,这里只写出最终成果如下:

此时,我们发现没有了参数,与之前模型唯一不一样在于又多了得限制条件。

核函数

核函数就就是将函数映射到高维空间来增长线性学习得