模式识别导论三 分类器的设计线性分类器的设计分段线性.pptVIP

若四个样本变成： ω 1 ={(0,0) T ,(1,1) T } ω 2 ={(0,1) T ,(1,0) T } 解： 取 b 1 =(1,1,1,1) T c=1 W 1 =X + b 1 =(0,0,0) T e 1 =XW 1 -b 1 =(-1,-1,-1,-1) T 0 系统线性不可分 C 为校正系数 , 取 0 ＜ C ≤ 1 在算法进行过程中，应在每一次迭代时，检测 e k 的值。 只要出现 e k 0 ，迭代就应立即停止。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 0 1 1 1 0 1 1 1 1 0 0 X x 2 x 1 1 1 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 2 / 1 2 / 1 2 / 1 2 / 3 1 1 1 1 1 1 1 1 2 1 X 六 Fisher 分类准则 现在讨论通过 映射投影来降低 维数的方法。 X 空间 X=-W T X-W 0 0 X ∈ ω 1 X=-W T X-W 0 0 X ∈ ω 2 映射 Y 空间 Y=W T X-W 0 0 X ∈ ω 1 Y=W T X-W 0 0 X ∈ ω 2 把 X 空间各点投影到 Y 空间得一直线上，维数由 2 维降为一 维。若适当选择 W 的方向，可以使二类分开。下面我们从 数学上寻找最好的投影方向，即寻找最好的变换向量 W 的 问题。 w(y) w y 1 y 2 x 2 x 1 ω 1 ω 2 投影样本之间的分离性用投影样本之差表示 投影样本类内离散度 : X X N X N y Y Y N Y Y i i i i i i W W 1 1 T T ? ? ? ? ? ? ? 空间的投影均值 在 ? ? ? N x i i i X N x X 1 空间的均值： 在 1 1 W Y X T ? ? 2 2 W Y X T ? 类间分离性越大越好 | ) ( | | | 2 1 2 1 X X W Y Y T ? ? ? ? ? ? ? W S W N X X T X T y Y Y Y i T i i i i i ? ? ? ? ? ? ? ? ? W W 2 2 2 ? W S W T 1 2 1 ? ? W S W T 2 2 2 ? ? i=1,2 i=1,2 ? ? ? ? i T i i i X X N X X X S ? ? ? ? ? 其中 ? ? ? ? ? ? ? ? ? 2 2 2 2 N X X X X X S T ? ? ? ? ? ? ? ? ? 1 1 1 1 N X X X X X S T ? ? 2 2 1 2 2 1 2 | | ) ( ? ? ? ? ? Y Y W J Fisher 准则函数有 所以 ? ? ? ? W S W X W T X W T Y Y W J b T ? ? ? ? 2 1 2 2 1 2 ) ( 的分子 ? ? ? ? 2 1 2 1 X X X X S T b ? ? ? 其中 W S W W S W W S W W J w T T T ? ? ? ? 2 1 2 2 1 2 ) ( ? ? 的分母 小越好。 投影样本的总离散度越 ）来表示，要求 用（ 投影样本总的离散度可 2 2 1 2 ? ? ? 类间散布矩阵 S S S w 2 1 ? ? 上式就是 n 维 x 空间向一维 y 空间的最好投影方向， 它实际是多维空间向一维空间的一种映射。 ? ? X X S W W J w 2 1 1 ) ( ? ? ? 求极值得 对 W S W