线性判别-冯守渤概念.pptx

判别分析 判别分析 根据已知对象的某些观测指标和所属类别来判断未知对象所属类别的统计方法。 利用已知类别的样本信息求判别函数，根据判别函数对未知样本所属类别进行判别。 判别方法的分类 按判别组数来分，有两组判别分析和多组判别分析 按数学模型来分，有线性判别分析和非线性判别分析 按判别方法来分，有Fisher判别分析和Bayes判别分析 Bayes判别分析方法 许多时候各类别的比例分布情况有一定的先验信息，此时，Bayes判别恰好适用。Bayes判别就是根据总体的先验概率，使误判的平均损失达到最小二进行的判别。其最大优势是可以用于多组判别问题。但是适用此方法必须满足三个假设条件，即各种变量必须服从多元正态分布、各组协方差矩阵必须相等、各组变量均值均有显著性差异。 Fisher 判别法 所谓Fisher判别法，用投影的方法将k个不同总体在p维空间上的点尽可能分散，同一总体内的各样本点尽可能的集中，用方差的思想则可构建一个较好区分各个总体的线性判别法。 优缺点比较 Fisher判别方法对总体分布没有特殊要求，但是Fisher判别法未考虑各总体出现概率的大小，不能给出后验概率以及错判造成的损失。 Bayes判别法可以给出后验概率以及错判造成的损失。但是要求即各种变量必须服从多元正态分布、各组协方差矩阵必须相等、各组变量均值均有显著性差异。 Fisher判别方法（二类） 有A，B两个总体，分别有n1 ，n2 个历史数据，每个数据有p维，则每个样本为p维空间的一点。Fisher方法构造一个线性判别函数： 其中，判别系数 c 应满足 类内距离最小 类间距离最大 即构造统计函数 使F取最大值即可满足Fisher方法的要求。 只要令 变换矩阵C的解析解 解得 其中 Fisher判别法（多类） 此时依然有统计函数 依然最小化此函数 变换矩阵C的选择 得到 求出 矩阵的特征值，然后提取前k个特征向量组成 C ，其中特征值大的特征向量分割性能最好。 MATLAB实验 从UCI数据库选取一个输入向量为十维的三分类数据，首先利用Fisher判别分析法对输入向量进行降维（2维），然后用降维之后的输入向量对数据进行神经网络训练，之后用测试集测试，结果准确率为百分之百。 LDA函数 function [mappedX, mapping] = lda(X, labels, no_dims) 输入数据为X，输出标签为labels，希望得到no_dims维输入数据。 变换之后的输入数据为mappedX，变换矩阵为mapping。 降维之后的数据