支持向量机与Adaboost算法原理.docVIP

支持向量机与Adaboost算法原理 支持向量机 支持向量机(Support Vector Machine, SVM,以下简称SVM)是一种基于统计学习理论的机器学习方法；1992年：它是由Boser,Guyon, Vapnik在COLT-92上首次提出，SVM因其成功用于手写数字识别而流行起来。目前已经在许多智能信息获取与处理领域都取得了成功的应用。 由于SVM的求解最后转化成二次规划问题的求解，因此SVM的解是全局唯一的最优解。SVM在解决小样本、非线性、高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其它机器学习问题中。 线性SVM 对于二维、两类、线性可分情况，如图1.1所示： 图 SEQ 图表 \* ARABIC 1.1 SVM二维、两类、线性可分 中间那条实线是最优的分类线，H1，H2分别是平行于最优分类线且经过两类中离最优分类线最近的训练样本，H1，H2之间的垂直距离是分类间隔(margin)，对于两类且线性可分情况，最优分类界面是能将两类样本无错误分开；分类间隔(margin)最大。 二维空间推广到高维空间，则最优分类边界的求取就变为最优分类面的求取。 设线性可分训练样本集：，，类别标号，则维空间的线性判别函数： ………………………………… (1.1) 判别函数归一化 则对所有训练样本正确分类： ……………………………(1.2) 即或 对于图1.1，设为正平面上任意点，为负平面上最接近 的点，，则： …………(1.3) 由此得出最优分类面 它的约束优化问题为： …..……………. (1.4) Lagrange极小值求取： ……………..(1.5) 　 　 ……………….(1.6) 有极小值，则： ………………(1.7) 该条件下，为： …….(1.8) 得到对偶问题： …………..(1.9) 求得唯一解：。 从而由公式(1.7)得到 ………………………….(1.10) 对于任意支持向量，， 所以： 推出最优分类函数： ………………(1.11) 其中：为支持向量，最优分类面： 对于测试样本：若，则为第一类，否则为第二类。 广义线性SVM 对于线性不可分的情况，其求解基本思路是折中思想，即：最大分类间隔+最少错分样本，归一化判别函数。对所有训练样本，引入松弛变量 ………………………..(1.12) ……………………..(1.13) C—常数，控制错分样本的惩罚程度。 非线性SVM 通过非线性映射，将原始数据由低维输入空间变换到高维特征空间。 原始数据 输入空间特征空间 在高维特征空间中，设计线性SVM，寻求最优分类面。非线性变换是通过定义适当的内积函数实现的。 Adaboost算法 Adaboost分类器旨在找到一些分类能力比较好的特征(弱分类器)构成一个强分类器，最终将所得的多个强分类器构成级联分类器。具体训练过程如图2.1所示： 图 SEQ 图表 \* ARABIC 2.1 Adaboost训练流程图 弱分类器表示形式 弱分类器的定义如下所示： ……………..………….. (2.1) 其中，为待检测的样本，为计算样本特征值的函数，为通过训练得到的弱分类器的阈值。，为两个小数，值域为[-1,+1],表示分类结果，在理想情况下： ||=||=1表示分类完全正确，+1表示正样本，-1表示负样本。 强分类器的表示形式 强分类器是由一系列训练出来的弱分类器组合成一起的，它的具体定义如下； ………………………. (2.2) 其中，为待检测的样本，为构成该强分类器的第个弱分类器，为该强分类器的阈值。的判断结果为+1，说明样本被该强分类器判为正样本，判断结果为，说明样本被该强分类器判为负样本。 多层分类器的结构 多层分类器的结构图如图2.3所示，这样一个多层结构的分类器的检测过程类似于一个倒决策树。每一级的强分类器都是由Adaboost算法训练得到的。对于第K级的负样本是前K-1级误判的作为该级的一个样本。第一层分类器把误判为正样本的负样本送入第二层分类器继续判决，接着第二层分类器再把误判为正样本的负样本送入第三层，依此类推。任何一层分类器判决出的负样本结果被直接排除，不再进行判决。所以当前层的强分类器面对的都是相对于上一层来讲更难的分类任务，因为能通过前面所有层的负样本相对于普通样本来讲是更加难以区分的。 在训练过程中，每个弱分类器的分类错误率在之间，强分类器的误检率可设为之间，最终的级联分类器是由每层强分类器串联而成，因而它的检测率和误检