2020模式识别导论二.ppt

湖南大学电气与信息工程学院 2020/7/1 ? g ( x ) =W T X=0 决定一个决策界面 ， 当 g ( x ) 为线性时， 这个决策界面便是一个超平面 H ，并有以下性质： ? 性质 ①： W 与 H 正交（如图所示） ? 假设 x 1, x 2 是 H 上的两个向量 ? 所以 ? W 与 ( x 1 -x 2 ) 垂直，即 W 与 H 正交。 ? 一般说，超平面 H 把特征空间分成两个半空间。即 Ω 1, Ω 2 空间，当 x 在 Ω 1 空间时 g ( x )0 , W 指向 Ω 1 ，为 H 的 正侧，反之为 H 的负侧 . 上 矢量一定在 H x x x x W w x W w x W T n T n T ) ( , 0 ) ( 0 2 1 2 1 1 2 1 1 ? ? ? ? ? ? ? ? ? ? ? 3. 超平面的几何性质 湖南大学电气与信息工程学院 2020/7/1 1 x 2 X 1 X 2 x W H Ω 1 Ω 2 g( x )0 g( x )0 ? 3. 超平面的几何性质 湖南大学电气与信息工程学院 2020/7/1 ? 矢量到 H 的正交投影 与 值成正比 ? 其中： x p ： x 在 H 的投影向量， ? r 是 x 到 H 的垂直距离。 ? 是 W 方向的单位向量。 ? 3. 超平面的几何性质（续） W ) x ( g r ? ? 性质 ②： W W r x r x x p p ? ? ? ? ) ( x g x r W W q 2 X 1 X p x W x H p r 湖南大学电气与信息工程学院 2020/7/1 ? 另一方面 : 1 1 ) ( ) ( ? ? ? ? ? ? ? n p T n T w r x W w x W x g 1 ? ? ? ? n T p T w r W x W ) ( , ) ( ) ( ) ( 0 2 1 W W W r W x g r W r W W W r W W r W r W x g w x W H p T T T T n p T ? ? ? ? ? ? ? ? ? ? ? ? 是投影的绝对值 上。 在 因为 ? 3. 超平面的几何性质（续） ? 这是超平面的第二个性质，矢量 x 到超平面的正交投影 正比与 g( x ) 的函数值。 r 湖南大学电气与信息工程学院 2020/7/1 W W q q r H x x q W W W x g r x w w x W x g n n n n T 1 1 1 1 0 ) ( ) 0 ( ) ( ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 的投影为 到 时 因 因原点 因为 成正比 的距离与 原点到 1 1 ? ? ? n n W H , W W q ? 性质③： ? 3. 超平面的几何性质（续） q 2 X 1 X 0 H 湖南大学电气与信息工程学院 2020/7/1 ? 性质④： 通过原点。 ，说明超平面 则 若 在原点负侧。 则 在原点正侧，若 则 若 H x W x g W H W H W T n n n ? ? ? ? ? ? ? ) ( , 0 , 0 , 0 1 1 1 否则，反之。 的正侧， 在 代数距离。 到 正比于 来决定。 的位置由 超平面 决定 正交，方向由 的平面与 ）超平面 （ 结论： , 0 ) ( ) ( ) ( ) ( 1 ? ? x g H x H x x g c W H b W W H a n ? 3. 超平面的几何性质（续） 湖南大学电气与信息工程学院 2020/7/1 ? 一组模式样本不一定是线性可分的，所以需要研究线 性分类能力的方法，对任何容量为 N 的样本集，线性可 分的概率多大呢？ ? （如下图（ a ），线性不可分） ? 例： 4 个样本有几种分法。 ? 图（ b ）①直线把 x 1 分开，每条直线可把 4 个样本分成 ω 1 ω 2 类， 4 个样本分成二类的总的可能的分法为 2 4 =16 类，其中有二种是不能用线性分类实现的线性可 分的是 14 。即概率为 14/16 。 ? 4. 二分法能力 （ a ） x 1 x 2 x 3 x 4 ① ⑥ ③ ② ④ ⑤ ⑦ （ b ） 湖南大学电气与信息工程学院 2020/7/1 ? 结论： N 个样品线性可分数目 ( 条件：样本分布良 好）： ? 4. 二分法能力（续） 为特征数 为样本数 其中 n N k N k N C k N , , ] )! 1 ( ! [ )! 1 ( 1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? n k k N N n N C n N n N D 0 1 1 , 2 1 , 2 ) , ( 若 若 ?