Fisher线性判别分析实验.docx

Fisher 线性判别分析实验（模式识别与人工智能原理实验1） Fisher 线性判别分析实验（模式识别与人工智能原理实验1） PAGE PAGE 2 实验 1 Fisher 线性判别分析实验 一、摘要 Fisher 线性判别分析的基本思想：通过寻找一个投影方向（线性变换，线性组合），将高维问题降低到一维问题来解决，并且要求变换后的一维数据具有如下性质：同类样本尽可能聚集在一起，不同类的样本尽可能地远。 Fisher 线性判别分析，就是通过给定的训练数据，确定投影方向W 和阈值 y0，即确定线性判别函数，然后根据这个线性判别函数，对测试数据进行测试，得到测试数据的类别。 二、算法的基本原理及流程图1 基本原理 （1）W 的确定 m ? m ? i 1 N ? x? X i x, i ? 1, 2 i S S 样本类内离散度矩阵 i 和总类内离散度矩阵 w S S ? ? (x ? m )(x ? m )T , i ? 1, 2 i i i x? Xi S ? S ?S w 1 2 S S ? S ? (m ? m )(m ? m )T b 1 2 1 2 在投影后的一维空间中，各类样本均值m  = W T m i i  。样本类内离散度和总类内离散度 S = WTS i i W S = WTS w w W 。样本类间离散度S b  = WTS W 。 b Fisher 准则函数满足两个性质： ·投影后，各类样本内部尽可能密集，即总类内离散度越小越好。 ·投影后，各类样本尽可能离得远，即样本类间离散度越大越好。 根据这个性质确定准则函数， 根据使准则函数取得最大值， 可求出 W ： W = S w -1 (m 1 - m ) 。 2 阈值的确定 实验中采取的方法： y 0  = (m + m 1  ) / 2 。 2 Fisher 线性判别的决策规则 对于某一个未知类别的样本向量x，如果y=WT·xy0，则 x∈w1；否则x∈w2。 2 流程图 载入训练数据归一化处理 载入训练数据 归一化处理 得到每个类的均 值向量 计算类内的离散 度，总的离散度 计算总离散度的 逆矩阵 计算投影向量和 阈值 载入测试数据 归一化处理 判断测试数据类 别 x? x ? 1 ?l x i l ji j ?1 s 2 i ? 1 ?l l ( x ? x )2 ji i j ?1 x ? x ? i x ? x i i s i 三、实验要求 寻找数据进行实验，并分析实验中遇到的问题和结论，写出实验报告。