第7章分类方法(续)分解.ppt

　　实线表示决策边界，它将训练样本一分为二，划入各自的类中。任何位于决策边界上的样本都必须满足W·X+b=0。例如，如果Xa和Xb是两个位于决策边界上的点，则有： 　　W·Xa+b=0，W·Xb+b=0 两式相减得到：W·(Xb-Xa)=0 其中，Xb-Xa是一个平行于决策边界的向量，它的方向是从Xa到Xb。由于上述点积的结果为零，因此W的方向必然垂直于决策边界。 　　对于任何位于决策边界上方的样本（ ●）Xs，可以证明有W·Xs+b0；任何位于决策边界下方的样本（Ο）Xc，可以证明有W·Xc+b0。 　　一旦W和b确定了，则可以用以下方式预测新样本Z的类别号Yz： Yz=1 当W·Xz+b0 Yz=-1 当W·Xz+b0 2. 线性分类器的边缘 　　考虑那些离决策边界最近的点，调整决策边界的参数W和b（决策边界分别向两个类的点平移，直到遇到第一个数据点），一定可以找到两个超平面H1和H2，它们是平行的，没有点落在两者之间，这两个超平面表示如下： H1：W·X+b=1 H2：W·X+b=-1 它们称为决策边界的边缘。 　　为了计算边缘，令X1是H1上的一个点，X2是H2上的一个点，则有： 　　W·X1+b=1 　　W·X2+b=-1 两式相减得到：W·(X1-X2)=2，即‖W‖×d=2 所以有： 其中‖W‖表示向量W的欧几里得范数，即为 d表示向量X1和X2的垂直距离，即H1