线性分类器.ppt

支持向量机 函数间隔Functional margin与几何间隔Geometrical margin? ?一般而言，一个点距离超平面的远近可以表示为分类预测的确信或准确程度。 在超平面w*x+b=0确定的情况下，|w*x+b|能够相对的表示点x到距离超平面的远近，而w*x+b的符号与类标记y的符号是否一致表示分类是否正确，所以，可以用量y*(w*x+b)的正负性来判定或表示分类的正确性和确信度。 函数间隔Functional margin 我们定义函数的间隔为： 接着我们我们定义超平面(w，b)关于训练数据集T的函数间隔为超平面(w，b)关于T中所有样本点(xi，yi)的函数间隔最小值，其中，x是特征，y是结果标签，i表示第i个样本， 然与此同时，问题就出来了。上述定义的函数间隔虽然可以表示分类预测的正确性和确信度，但在选择分类超平面时，只有函数间隔还远远不够，因为如果成比例的改变w和b，如将他们改变为2w和2b，虽然此时超平面没有改变，但函数间隔的值f(x)却变成了原来的2倍。 几何间隔Geometrical margin 几何间隔的基本定义： ? 其中||w||为w的二阶范数（范数是一个类似于模的表示长度的概念）， 从上述函数间隔和几何间隔的定义可以看出：几何间隔就是函数间隔除以||w||，而且函数间隔y*(wx+b)?=?y*f(x)实际上就是|f(x)|，只是人为定义的一个间隔度量，而几何间隔|f(x)|/||w||才是直观上的点到超平面的距离。 支持向量积的原理 对一个数据点进行分类，当超平面离数据点的“间隔”越大，分类的确信度（confidence）也越大。所以，为了使得分类的确信度尽量高，需要让所选择的超平面能够最大化这个“间隔”值。这个间隔就是下图中的Gap的一半。 SVM的多分类问题 将SVM推广解决多分类问题有两类方法! 第一种方法是将多分类看作二分类的组合!最终将多分类问题转化为二分类问题!第二种方法是通过修改目标函数!从根本上解决SVM处理多分类问题( 由于后者代价过高!只适用于小规模问题!目前多采用第一类方法( 对于多类问题!给定样本集 一对多的分类方法 一对多的分类方法原理很简单，多于k分类问题，把1作为第一类，其余的k-1类看成一类，很自然的把k分类问题转化成二分类问题。这种分类方法在训练过程中，每个分类函数都需要所有的样本参与。分类函数为 一对一SVM分类 一对一的解决方法是在K类问题中进行两两组合! 构造 个分类器，这种方法的确定是对于类别K过大时!产生的子分类器过多!相对于一对多分类子分类器明显增加!训练时间更长，由于测试时要任意两类进行比较!训练速度随着类别的增加成指数倍降低。 有向无环图SVM分类 有向无环图SVM分类在训练阶段也是采用一对一SVM的任意两两组合的方式，也需要 个子分类器，但在分类过程中，DAG将徐偶有子分类器构造成一个有向的无环图，包括 个节点和k个叶子节点，其中每一个节点是一个子分类器，当对未知样本训练时，从根节点开始分类，只需k-1步即可完成分类，大大提高了分类速度，这种分类方法的缺点是未考虑样本不平衡数据对分类速度的影响，而且没有考虑分类错误传递对后续产生影响。 * * * * * * * * * * * * * * * * 线性分类器(Linear Classifier) 线性可分 vs. 非线性可分 线性分类器： 训练中确定所有的wi和 参数 决策规则： 对于线性可分，必然存在线性分类面 = N维空间下的二类线性分类器(N维超平面) 一维 二维 三维 阈值逻辑单元(Threshold Logic Unit, TLU) ? x1 x2 xn . . . w1 w2 wn a=?i=1n wi xi 1 if a ? q y= 0 if a q y { 输入 权重 激励函数 输出 q 激励函数 a y a y a y a y 阈值型 线性 分段线性 sigmoid 阈值也可以作为权重一并考虑 1 if a ? 0 y= 0 if a 0 ? x1 x2 xn . . . w1 w2 wn wn+1 xn+1=-1 a= ?i=1n+1 wi xi y { q=wn+1 支持向量机(Support Vector Machines) 超平面的选择 所谓的超平面的的便把这两种不同类别的数据点分隔开来 线性可分的情况下分类面有无穷多个 如上图的训练样本,在线性可分的情况下,存在多个超平面(Hyperplane) (如 : H1,H2….)使得这两类被无误差的完全分开。超平面可以定义