教学课件 地址数据处理 判别分析.pptVIP

* 误判概率的非参数估计 若两组不能假定为正态组，则P(2|1) 和 P(1|2) 可以用样本中样品的误判比例来估计，通常有如下三种非参数估计方法： (1)令n(2|1)为样本中来自π1而误判为π2的个数，n(1|2)为样本中来自π2而误判为π1的个数，则P(2|1) 和P(1|2) 可估计为 该方法简单、直观，且易于计算。但遗憾的是，它给出的估计值通常偏低，除非n1和n2都非常大。 * 出现这种乐观估计的原因是，被用来构造判别函数的样本数据又被用于对这个函数进行评估，评估的结果自然就倾向有利于所构造的判别函数。事实上，在误判概率的估计中，构造判别函数中使用过的样本数据在对该函数作出评估时已不能很好地代表总体了。 * (2)将整个样本一分为二，一部分作为训练样本，用于构造判别函数，另一部分用作验证样本，用于对判别函数进行评估。误判概率用验证样本的被误判比例来估计，如此得到的估计是无偏的。 该方法的两个主要缺陷： (i)需要用大样本； (ii)在构造判别函数时，只用了部分样本数据，损失了过多有价值的信息。与使用所有的样本数据构造判别函数相比，该方法将使真实的误判概率上升。该缺陷随样本容量的增大而逐渐减弱，当样本容量相当大时此缺陷基本可忽略。 * (3)称为交叉验证法或刀切法。该方法既避免了样本数据在构造判别函数的同时又被用来对该判别函数进行评价，造成不合理的信息重复使用，又几乎避免了构造判别函数时样本信息的损失。 从组π1中取出x1j，用该组的其余n1?1个观测值和组π2的n2个观测值构造判别函数，然后对x1j进行判别，j=1,2,?,n1。同样，从组π2中取出x2j，用这一组的其余n2?1个观测值和组π1的n1个观测值构造判别函数，再对x2j作出判别，j=1,2,?,n2。令n*(2|1)为样本中来自π1而误判为π2的个数，n*(1|2)为样本中来自π2而误判为π1的个数，则两个误判概率P(2|1)和P(1|2)的估计量为 它们都是接近无偏的估计量。 * （2）Σ1≠Σ2时的判别 判别规则 也可采用另一种形式：选择判别函数为 它是x的二次函数，相应的判别规则为 * 欧氏距离与马氏距离 附定义 之间的欧氏距离为 平方欧氏距离为 之间的平方马氏距离定义为 * 在上例中，设π1和π2这两个组的方差不相同，分别为 ，这时 当μ1xμ2时，判别函数可简单地取为 式中 它是μ1与μ2的加权平均，常称为阈值点，如图所示。 * 判别规则为 实际应用中，μ1和μ2，Σ1和Σ2一般都是未知的，可由相应的样本值代替。 图 方差不同时两组判别的阈值点 * 二、多组距离判别 设有k个组π1,π2,?,πk，它们的均值分别是μ1,μ2,?,μk，协方差矩阵分别是Σ1(0),Σ2(0),?,Σk(0)，x到总体πi的平方马氏距离为 判别规则为 若Σ1=Σ2=?=Σk=Σ，则上述判别规则可作进一步简化。 d2(x,πi)=(x?μi)′Σ?1(x?μi)=x′Σ?1x?2μi′Σ?1x+μi′Σ?1μi =x′Σ?1x?2(Ii′x+ci) 其中 ，判别规则简化为 * 这里Ii′x+ci为线性判别函数。 当组数k=2时，可将上式写成 ***** 实践中μ1,μ2,?,μk和Σ1,Σ2,?,Σk一般都是未知的，它们的值可由相应的样本估计值代替。设 是从组πi中抽取的一个样本，则μi可估计为 (i=1,2,?,k)。 * Σ1=Σ2=?=Σk=Σ的情形 Σ的联合无偏估计为 其中n=n1+n2+?+nk， 为第i组的样本协方差矩阵。 实际应用中使用的判别规则是 其中 。 * Σ1,Σ2,?,Σk不全相等的情形 Σi可估计为Si(i=1,2,?,k）。 实际应用中使用的判别规则是 其中 p为变量个数，k为类的个数 * Σ1,Σ2,