北京大学统计学经典课件第九章——变量间的w关系.pptVIP

费歇(Fisher)判别法 并未要求总体分布类型 工作原理就是对原数据系统进行坐标变换,寻求能够将总体尽可能分开的方向. 点x在以a为法方向的投影为a’x 各组数据的投影为 将Gm组中数据投影的均值记为 有 记k组数据投影的总均值为 有 组间离差平方和为: 这里 组内离差平方和为: 这里 注:L=|E|/|B+E|为有Wilks分布的检验零假设H0:m(1)=…= m(k)的似然比统计量. Wilks分布常用c2分布近似(Bartlett) 希望寻找a使得SSG尽可能大而SSE尽可能小,即 记方程|B-lE|=0的全部特征根为l1 ≥ …≥ lr0, 相应的特征向量为v1,…,vr. D(a)的大小可以估计判别函数yi(x)=vi’x (= a’x)的效果. 记pi为判别能力(效率), 有 最大的值为方程|B-lE|=0的最大特征根l1. 使 m个判别函数的判别能力定义为 下面以两总体(k=2)为例来发现阈值. 它们的均值 的投影分别为 当总体方差相等时阈值为 总体方差不等时,注意到 的样本方差为 类似地,第二组数据投影的样本方差为 于是阈值 如 判别规则为 用m个线性判别函数yi(x) =vi’x,i=1,…,m,时, 先将样本点在L(vi,…,vm )空间投影再按照p1情况的距离判别法来制定判别规则. 判别能力为 于秀林书上介绍了对用一个和m个判别函数的加权和不加权方法. 记y(x)= v’x, 其在Gi上的样本均值和方差, 以及总均值为 m=1时, 不加权法: m=1时, 加权法: 按大小排列 Di,i+1可为相应两类的分界点 相应的标准差为 令 m1时, 不加权法: 记 对x=(x1,…,)’, yl(x)=v(l)’x m1时, 加权法: 记 则 则 Bayes判别法 不用判别式,而用比较新给样品属于各个总体的条件概率P(l|x), l=1,…,k, 的大小(将新样品判归为来自概率最大的总体). 先给出对于k个总体的先验概率q1,…,qk. 如各总体密度为{fk(x)}, 则后验概率为(g=1,…k): P(g|x)=qgfg(x)/Si qifi(x) 当且仅当P(h|x)= maxgP(g|x), 判x来自第h总体. 也可以用使错判的损失最小来判别. 如果c(i|j)为来自j总体的个体被错判到第i总体的损失. 定义平均错判损失(ECM)为ECM=Si=1 qi[Sl≠iP(l|i)c(l|i)] 逐步判别法 前面判别用了所有变量. 但是各变量所起作用并不一样. 要有进有出,引进“最重要的”并剔除不显著的. 根据是假设检验(比如似然比检验). 检验的零假设是各组变量均值相等. Lambda (Wilks’ Lambda统计量) 接近0表示组均值不同,接近1表示组均值没有不同. Chi-square是lambda的卡方转换(Bartelett近似), 用于确定其显著性. 鸢尾花数据(花瓣,花萼的长宽) 5个变量:花瓣长(slen),花瓣宽(swid), 花萼长(plen), 花萼宽(pwid), 分类号(1:Setosa, 2:Versicolor, 3:Virginica)(data14-04) Statistics→Classify →Discriminant: Variables: independent (slen,swid,plen,pwid) Grouping(spno) Define range(min-1,max-3) Classify: prior probability(All group equal) use covariance matrix (Within-groups) Plots (Combined-groups, Separate-groups, Territorial map) Display (Summary table) Statistics: Descriptive (Means) Function Coefficients (Fisher’s, Unstandardized) Matrix (Within-groups correlation, Within-groups covariance, Separate-groups covariance, Total covariance) Save: (Predicted group membership, Discriminant Scores, Probability of group membership) 鸢尾花数据(数据分析过程简明表) 鸢尾花