9判别分析解析.ppt

分母与w的关系： 最后可得显式为： 注：此式与w的长度无关 JF(w)是广义Rayleigh商 可以用 Lagrange 乘子法求解。 求使JF(w)取极大值时的w* 即分母等于非零常数。 定义Lagrange函数为： 令偏导数为零，得： 式中λ为Lagrange乘子。对w求偏导数，得： 由于JF(w)与w的长度无关，可令 其中w*就是JF(w)的极值解。因为Sω非奇异，可得： 而： 式中R=(m1-m2)Tw*为一标量，所以Sbw*总是在向量(m1-m2)的方向上。由于我们的目标是寻找最好的投影方向，w*的比例因子对此无影响，因此，可得： 忽略比例因子R /λ，得： 上式中的w*就是d维X空间到一维y空间的最好投影方向。有了w*，就可以把d维样本xn投影到一维，这实际上是多维空间到一维空间的一种映射。 以上做的全部工作是将d维空间的样本集映射成一维样本集，这个一维空间方向w*是相对于Fisher准则JF(w)为最好的。但至此，我们还没有解决分类问题。 然而，我们已将d维分类问题转化为一维分类问题了。实际上，只有确定一个阀值y*，将样本x的投影点wT x与y*相比较，便可以做出决策。 w* x2 x1 ω2 ω1 x2 x1 ω1的决策域 wTx＜ y*, ω2的决策域 wTx ＞ y* y* 例1 对全国30个省市自治区1994年影响各地区经济增长差异的制度变量：x1—经济增长率（%）、x2—非国有化水平（%）、x3—开放度（%）、x4—市场化程度（%）作判别分析。 类别 序号 地区 x1 x2 x3 x4 第 一 组 1 辽宁 11.2 57.25 13.47 73.41 2 河北 14.9 67.19 7.89 73.09 3 天津 14.3 64.74 19.41 72.33 4 北京 13.5 55.63 20.59 77.33 5 山东 16.2 75.51 11.06 72.08 6 上海 14.3 57.63 22.51 77.35 7 浙江 20 83.94 15.99 89.5 8 福建 21.8 68.03 39.42 71.9 9 广东 19 78.31 83.03 80.75 10 广西 16 57.11 12.57 60.91 11 海南 11.9 49.97 30.7 69.2 资料来源：《经济理论与经济管理》1998年第1期 第 二 组 12 黑龙江 8.7 30.72 15.41 60.25 13 吉林 14.3 37.65 12.95 66.42 14 内蒙古 10.1 34.63 7.68 62.96 15 山西 9.1 56.33 10.3 66.01 16 河南 13.8 65.23 4.69 64.24 17 湖北 15.3 55.62 6.06 54.74 18 湖南 11 55.55 8.02 67.47 19 江西 18 62.88 6.4 58.83 20 甘肃 10.4 30.01 4.61 60.26 21 宁夏 8.2 29.28 6.11 50.71 22 四川 11.4 62.88 5.31 61.49 23 云南 11.6 28.57 9.08 68.47 24 贵州 8.4 30.23 6.03 55.55 25 青海 8.2 15.96 8.04 40.26 26 新疆 10.9 24.75 8.34 46.01 27 西藏 15.6 21.44 28.62 46.01 待判样品 28 江苏 16.5 80.05 8.81 73.04 29 安徽 20.6 81.24 5.37 60.43 30 陕西 8.6 42.06 8.88 56.37 (1) 两类地区各变量的均值及类内协方差矩阵 （2）建立判别式 （3）求判别临界值 y0 ，对所给样品判别分类 回判结果如下： 样品序号 y值 原类号 回判组别 1 0.710814 1 1 2 0.731731 1 1 3 0.747011 1 1 4 0.722523 1 1 5 0.753821 1 1 6 0.777408 1 1 7 0.923491 1 1 8 0.837441 1 1 9 1.010054 1 1 10 0.644944 1 2 11 0.713817 1 1 12 0.562602 2 2 13 0.641456 2 2 14 0.577069 2 2 15 0.638321 2 2 16 0.652257 2 1 17 0.579226 2 2 18 0.651521 2 2 19 0.6365742 2 2 20 0.54387 2 2 21 0.467405 2 2 22 0.617757 2 2 23 0.616408 2 2 24 0.50411 2 2 25 0.37