第十讲Modeler分类预测：判别分析.pptVIP

分类预测：判别分析 判别分析的一般内容 判别分析是一种实现统计分类的分析方法 例如：不同类型客户的预测应用 特点： 数据中包含用于预测的判别变量(自变量)，其类型可以为定距，也可以为定类 数据中包含已知所属类别的类别变量(因变量)，为定类型 判别分析可以根据已有数据，确定分类与判别变量之间的数量关系，建立判别函数，并可通过判别函数实现对未知数据类别的判定和预测 判别分析的一般内容 判别分析与聚类分析的不同点： 聚类分析中的类别是未知的，完全通过数据来确定 判别分析，通过对已知类别的“训练样本”的学习，建立判别准则，具有“预测”意义 判别分析方法的划分： 根据类数：两组判别分析、多组判别分析 根据数学模型：线性判别、非线性判别 根据判别准则：距离判别法、Fisher判别法、Bayes判别法 距离判别 设有来自k?2个总体的k组样本，每组样本有ni(i=1,2,..k)个关于X1，X2，…，Xp个输入(判别)变量的观察值(p＞ k) 将n个样本数据看成p维空间中的点，计算出每个类别的中心(分类均值) 分别计算任一样本点到各个类别中心的马氏距离 根据距离最近的原则，距离哪个中心近，则属于哪个类 距离判别 假设有两个总体G1和G2,从第一个总体中抽取n个样本，从第二个总体中抽取m个样本，每个样本有p个判别变量 ?(1), ?(2), ?(1), ?(2)分别为G1和G2的均值向量和协差阵,则点X到Gi的马氏距离定义为: 为什么用马氏距离？ 距离判别 根据D(X,G1)、D(X,G2)判断： 如果D(X,G1)D(X,G2),则:X∈G1 如果D(X,G2)D(X,G1),则:X∈G2 如果D(X,G1)=D(X,G2),则待判 判别函数：W(X)=D(X,G2)-D(X,G1),判断： 如果W(X)0,则:X∈G1 如果W(X)0,则:X∈G2 如果W(X)=0,则待判 距离判别的目的:求D2(X,G2)=D2(X,G1)，即判别函数等于0时X的解。解集形成的轨迹是一条分隔线或平面或超平面 分隔线与两类的中心连线垂直且垂足为连线的中点 可见：只有当两个总体的均值存在显著差异时，判别分析才有意义 距离判别 距离判别 计算时： ?(i)未知时,可用样本估计 如果各组协方差阵相等，采用(pooled within-groups covariance)，记为?： 则判别函数(线性)： 距离判别 计算时： 如果各组协方差阵不相等(separated-groups covariance) ，则判别函数(非线性)： Fisher判别 Fisher判别也称典型判别 基本思想是投影，即将原来p维空间的样本点投影到低维y空间中，以简化问题和提高判别精度 Fisher判别 ---基本模型 Fisher判别的基本模型即是Fisher判别函数，是判别变量的线性函数形式： 系数ai称为判别系数，表示各判别变量对于判别函数的影响 Y反映的是样本在低维空间中某个维度上的坐标 判别函数通常为多个，于是得到在低维空间中多个维度上的坐标，进而决定了样本点在低空间中的位置 寻找最佳的投影方向： 能够将总体尽可能分开的方向 Fisher判别 ---基本计算 假设有两个总体G1和G2,从第一个总体中抽取n个样本，从第二个总体中抽取m个样本，每个样本有p个判别变量 假设所建立的判别函数为 将属于不同两类的样本观测值代入判别函数中，则： 为使判别函数很好地区分来自两个不同总体的样本，希望： 相差越大越好，且组内的离差平方和越小越好 Fisher判别 ---基本计算 即下式越大越好。利用求极值原理，可以求出使I达到最大时的系数b Fisher判别 ---基本计算 首先，在判别变量的p维空间中，找到某个线性组合，使各类别的平均值差异最大，作为判别的第一维度，代表判别变量组间方差中的最大部分，得到第一判别函数 然后，按照同样规则依次找到第二判别函数、第三判别函数等，这些判别函数之间完全独立 得到的每个函数都可以反映判别变量组间方差的一部分，各判别函数所代表的组间方差比例之和为100%。 前面的判别函数相对重要，后面的判别函数只代表很少一部分方差，可以被忽略 Fisher判别 ---基本思想 点x在以a为法方向的投影为a’x,则各组数据的投影为： 将Gm组中数据投影的均值记为 有： 记k组数据投影的总均值为 有： Fisher判别 ---基本计算 组间离差平方和为: 组内离差平方和为: Fisher判别 ---基本计算 希望寻找a使得SSG尽可能大而SSE尽可能小,即 记方程|B-lE|=0的全部特征根为l1 ≥