线性可分模式的最优超平面的详细推导过程【支持向量机相关】.pdfVIP

matlab_SVM 视频讲解_2 线性可分模式的最优超平面的详细推导过程: 考虑训练样本 N ,其中 是输入模式的第i 个样本, . { ,x }y x ∈{ −y1, +1} i i i 1 i i 设用于分离的超平面方程是: w •x =+b 0 (1) 其中w 是超平面的法向量,b 是超平面的常数项. [虚幻的叫法w 是可调的权值向量,b 是偏置,上面的是w 和b 的数学本质] 现在的目的就是寻找最优的分类超平面, 即寻找最优的w 和b.设最优 的w 和b 为 和 ,则最优的分类超平面为: w b 0 0 w •x =+b 0 0 0 (2) 若得到上面的最优分类超平面,就可以用其来对测试集进行预测了. 设测试集合为 M ,则用最优分类超平面预测出的测试集的标签为: { i}ti 1 • + (3) t label w t b i _ sgn( 0 i 0 ) 上面是明确问题目的性,也就是到底要解决什么问题,要做什么. SVM 的主要思想是建立一个超平面作为决策曲面,使得正例和反例之 间的隔离边缘被最大化. 即最优分类超平面等价于求最大间隔 定义 支持向量 满足下面条件的特殊数据点 称为支持向量: ( , x )y i i w x b y (4) • =+ =− − 1, 1 i i or •w +x b y +1, 1 (5) i i 支持向量是那些最靠近决策面的数据点,这样的数据点是最难分类的, 因此,它们和决策面的最优位置直接相关. 推导最大间隔: 设 , 如图,则正反例的间隔为 w .又 x x ( ) •dis − x x 1 2 1 2 w w •x =+b 1 1 (6)