第四章-横截面数据分类.pptxVIP

第四章 横截面数据分类：经典方法4.1 logistic回归和probit回归4.2 经典判别分析分类(classification)分类(classification)就是经典统计中所说的判别(discrimination). 当因变量只有两个水平，自变量没有太多分类变量时可以采用logistic回归及probit回归在因变量有多于两个水平，自变量没有太多的分类变量时可以用经典多元分析中的判别分析. 但是不管因变量水平数量如何，若自变量也包含较多分类变量时,判别分析不再适用: 机器学习或数据挖掘的各种方法, 比如决策树的分类树, 神经网络, boosting, bagging, 随机森林, 最近邻方法, 支持向量机等.4.1logistic回归和probit回归logistic回归和 probit回归仅适用于数量自变量的判别分析，都属于广义线性模型的特例，所以先简单回归一下广义线性模型。4.1.1 广义线性模型简单回顾记自变量的线性表示式为 这里x1可以是代表常数项的1.首先回归线性模型这里假定 ，这时，由于 ，可以通过最大似然法得到参数 及 的估计，而且这个估计在Y的正态假定下等价于最小二乘估计。在取期望值后，得到 如果 之间用一个函数连接起来，比如 而且Y服从（正态分布也在其中的）指数族分布，则我们就有了广义线性模型（GLM）， 称为连接函数，其逆函数 称为均值函数.如果因变量观测值Y来自指数族分布，那么它的密度函数的形式为式中所有函数都是已知的，如果 则称为典则形式（所有分布都可通过变换成典则形式）；再者，如果 ，则 称为典则参数。假定 为Y的期望。这时，均值等于分布中 的一阶导数，而方差又和其二阶导数有关：连接函数 称为典则连接函数，它使得数学推导简单很多，即便如此但没有任何证据说明点则连接函数在你和实际数据时比其他连接函数好，由于R中的glm()函数对某分布的默认连接函数是其点则连接函数，下面列出某些属于指数族的分布典则连接函数表 4-1某些指数分布的典则连接函数4.1.2 脊柱数据例子 先引进一个数据.该数据有两个版本, 其区别仅仅在于一个版本的因变量有2个水平, 另一个有3个水平. 而两个版本的自变量是相同的, 都是定量变量. 可以尝试用经典的logistic回归, probit回归和判别分析来拟合这个数据. 当然, 经典的logistic回归及probit回归并不要求自变量一定是数量变量, 可以包含定性变量. 但定型自变量或者变量水平多了，这些方法就不能用了。且经典判别分析只能用数量型自变量. 例4.1 脊柱数据（column.2C.csv,column.3C.csv）这个数据 来源于Frank and Asuncion(2010).该数据的自变量（V1,V2,...,V6）为6个生物力学特征，都是数量。研究目的之一是根据这些特征把患者分为3类（因变量V7）：正常（100人，代码NO：normal）、椎间盘突出（60人，代码DH：disk hernia）或腰椎滑脱（150人，代码SL：spondilolysthesis）;另一个目的是把患者分类两类：正常正常（100人，代码NO：normal），不正常（210人，代码为AB：abnormal）.在原始数据中变量V6的第116个观测值是明显的异常值，会影响拟合运算，所以对其作修正（第一个数据把原来的418.54换成了46.7093，第二个数据换成49.5902），这里的数据及时修正后的。 后面分别对脊柱数据（column.2C.csv）的logistic和probit回归方法及脊柱数据（column.3C.csv）的经典判别分析方法进行讨论。4.1.3 logistic回归对于一系列有两个结果的随机试验，最简单的概率模型就是Bernoulli试验及Bernoulli分布，假定成功的概率为P，失败的概率为1-P。二项分布就是多次Bernoulli试验的结果。在实际生活中，有各种不同的其他因素干扰实验结果，这样成功和失败的概率就不是固定，而是其他变量的一个函数。假定自变量向量为X，那么一个简单的函数为： 或者 （4.1） 为待估系数向量注意：伯努利分布均值 ，这里的连接函数为 在简单回归的期望表达式