Fisher分类器(算法与程序).docVIP

.. .. .. PAGE .专业资料. 3.5 Fisher分类器（Fisher Linear Discriminant） ?1类?2类?判为?1判为?20xp1 ?1类 ?2类 ? 判为?1 判为?2 0 xp1 xp2 图3.4, Fisher判别法几何原理示意图 设数据阵为X?RN?m，?1共有N1个样本，?2共有N2个样本，N= N1+N2。两个类别在输入空间的均值向量为 设有一个投影方向，这两个均值向量在该方向的投影为 在方向，两均值之差为 类似地，样本总均值向量在该方向的投影为 定义类间散度(Between-class scatter)平方和SSB为 其中 定义类?j的类内散度(Within-class scatter)平方和为 两个类的总的类内散度误差平方和为 其中， 我们的目的是使类间散度平方和SSB与类内散度平方和SSw的比值为最大，即 图 图3.5a, Fisher判别法—类间散度平方和（分子）的几何意义 ?1类 ?2类 ? 0 xp1 xp2 图3.5b, Fisher判别法—类内散度平方和（分母）的几何意义 ?1类 ?2类 ? 0 xp1 xp2 图3.5给出了类间散度平方和SB与类内散度平方和SE的几何意义。根据图3.5a，类间散度平方和SB的另一种表示方式为 这里 可以证明，(3.48)与(3.42)只相差一个系数。简单证明如下： 由于 由(3.42)得 这说明，(3.48)与(3.42)只相差一个与样本数有关的常数。 根据图3.5b，类内散度平方和SSE的另一种表示方式为 这正是(3.44)。 下面分析怎样确定最佳投影方向。 显然， SB、SW均为对称阵，于是，=，且SW= 。令，则，代入(3.46)，得 使(3.52)为最大，等价于求最大特征值 对应的特征向量。即 我们知道， 于是，(3.53)可写成 这说明，得方向与的方向一致，即 因此，在应用过程中，我们往往不必求出类间散度阵。 与输入空间维数相等，或者说，投影方向过原点。设分类阈值为?，则判别公式为 确定?的一些经验公式为 取两个类别均值在方向投影的简单平均 考虑样本数的两个类别均值在方向投影的平均 或 考虑类方差的两个类别均值在方向投影的平均 或 这里，、分别为两个类别在方向投影的均方差。 当然，当类内散度阵不可逆时，Fisher判别法失效。 例5 在研究地震预报中，遇到沙基液化问题，选择了下列7个有关的因素： x1：震级, x2：震中距（公里）, x3：水深（米）， x4：土深（米） x5：贯入值， x6：最大地面加速度（10-2N/m2）， x7：地震持续时间（秒）。 具体数据如表1所示。 x1 x2 x3 x4 x5 x6 x7 类别 序号 6.6 39 1.0 6.0 6.0 0.12 20 = 1 \* ROMAN I 1 6.6 39 1.0 6.0 12 0.12 20 = 1 \* ROMAN I 2 6.1 47 1.0 6.0 6.0 0.08 12 = 1 \* ROMAN I 3 6.1 47 1.0 6.0 12 0.08 12 = 1 \* ROMAN I 4 8.4 32 2.0 7.5 19 0.35 75 = 1 \* ROMAN I 5 7.2 6.0 1.0 7.0 28 0.30 30 = 1 \* ROMAN I 6 8.4 113 3.5 6.0 18 0.15 75 = 1 \* ROMAN I 7 7.5 52 1.0 6.0 12 0.16 40 = 1 \* ROMAN I 8 7.5 52 3.5 7.5 6.0 0.16 40 = 1 \* ROMAN I 9 8.3 113 0.0 7.5 35 0.12 180 = 1 \* ROMAN I 10 7.8 172 1.0 3.5 14 0.21 45 = 1 \* ROMAN I 11 7.8 172 1.5 3.0 15 0.21 45 = 2 \* ROMAN II 12 8.4 32 1.0 5.0 4.0 0.35 75 = 2 \* ROMAN II 13 8.4 32 2.0 9.0 10 0.35 75 = 2 \* ROMAN II 14 8.4 32 2.5 4.0 10 0.35 75 = 2 \* ROMAN II 15 6.3 11 4.5 7.5 3.0 0.20 15 = 2 \* ROMAN II 16 7.0 8.0 4.5 4.5 9.0 0.25 30 = 2 \* ROMAN II 17 7.0 8.0 6.0 7.5 4.0 0.25 30 = 2 \* ROMAN II 18 7.0 8.0