支持向量机论述.ppt

支持向量机 北京10月机器学习班 邹博 2014年11月9日 谱聚类历史遗留问题 最小化f’Lf，为什么等价于最小特征值和特征向量？ 其不满足f⊥1的条件，为什么？ 特征向量v里的元素是连续的任意实数，能否具体点？ 求拉普拉斯矩阵的前K个特征值，再对前K个特征值对应的特征向量进行?K-means?聚类，对特征向量进行K聚类的目的是什么？ 最小的系列特征向量对应着图最优的系列划分方法，怎么理解向量划分图？ 什么是NP问题？ 解答 其不满足f⊥1的条件，为什么？ 切割代价与f’Lf的关系 解答 解答 特征向量v里的元素是连续的任意实数，能否具体点？ 求拉普拉斯矩阵的前K个特征值，再对前K个特征值对应的特征向量进行?K-means?聚类，对特征向量进行K聚类的目的是什么？ L是实对称正定阵，那么，L的特征向量u，是实向量。即：u的每个元素都是实数。 这其实不是我们想要的。如果计算L的次小特征向量v，得到的v中的元素都只能取-1，+1，那么，直接就可以用-1，+1将原始样本聚类成两簇了。（可惜现实中不是这样子） 所以，必须将特征向量v根据是否大于0（或其他定值）分成两部分，进而把原始样本聚类成两簇。 实践中，往往不是只选择次小的特征向量，而是选择前K个特征向量进行K均值聚类。 解答 最小的系列特征向量对应着图最优的系列划分方法，怎么理解向量划分图？ 一般翻译成“连通分量”。 什么是NP问题？ 有些问题，目前人们从未找到过多项式级的时间复杂度，我们把这种问题，叫做NP问题。 复习：对偶问题 一般优化问题的Lagrange乘子法 Lagrange函数 对固定的x，Lagrange函数L(x,λ,v)为关于λ和v的仿射函数 复习： Lagrange对偶函数(dual function) Lagrange对偶函数 若没有下确界，定义： 根据定义，显然有：对?λ0，?v，若原优化问题有最优值p*，则 进一步：Lagrange对偶函数为凹函数。 另一种表述 原始问题 引入拉格朗日乘子： 原始问题： 有如下结论： 主要内容和目标 理解支持向量机SVM的原理和目标 掌握支持向量机的计算过程和算法步骤 对线性不可分的数据，理解软间隔最大化的含义 了解核函数的思想 了解SMO算法的过程 线性分类问题 输入数据 假设给定一个特征空间上的训练数据集T={(x1,y1), (x2,y2)…(xN,yN)}，其中，xi∈Rn，yi ∈{+1,-1}，i=1,2,…N。xi为第i个特征向量，也称为实例，yi为xi的类标记；当yi=+1时，称xi为正例；当yi=-1时，称xi为负例。(xi,yi)称为样本点。 各种概念 线性可分支持向量机 硬间隔最大化hard margin maximization 硬间隔支持向量机 线性支持向量机 软间隔最大化soft margin maximization 软间隔支持向量机 非线性支持向量机 核函数kernel function 线性可分支持向量机 给定线性可分训练数据集，通过间隔最大化或等价的求解相应的凸二次规划问题学习得到的分离超平面为 wx + b = 0， 相应的分类决策函数 f(x)=sign(wx + b ) 该决策函数称为线性可分支持向量机。 二维平面上线性分类问题 线性可分支持向量机 函数间隔和几何间隔 给定的训练数据集T和超平面(w,b)，定义超平面(w,b)关于样本点(xi,yi)的函数间隔为： 平面法向单位化的函数间隔，即几何间隔 最大间隔分离超平面 最大间隔分离超平面 最大间隔分离超平面 最大间隔分离超平面 拉格朗日乘子法 原问题是极小极大问题 原始问题的对偶问题，是极大极小问题 拉格朗日乘子法 将拉格朗日函数L(w,b,α)分别对w，b求偏导并令其为0： 拉格朗日乘子法 将上式带入拉格朗日函数L(w,b,α)中，得到： 继续求minw,bL(w,b,α)对α的极大 整理目标函数：添加负号 线性可分支持向量机学习算法 构造并求解约束最优化问题 求得最优解α* 线性可分支持向量机学习算法 计算 求得分离超平面 分类决策函数 举例 给定3个数据点：正例点x1=(3,3)T，x2= =(4,3)T，负例点x3=(1,1) T，求线性可分支持向量机。 目标 将约束带入目标函数，化简计算 将 带入目标函数，得到关于α1α2的函数： 对α1α2求偏导并令其为0，易知s(α1,α2)在点(1.5,-1)处取极值。而改点不满足条件α2≥0，所以，最小值在边界上达到。 当α1=0时，最小值s(0,2/13)=-2/13 当α2=0时，最小值s(1/4,0)=-1/4 于是，s(α1,α2)在α1=1/4， α2=0时达到最