- 1、本文档共8页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
1.逻辑回归模型
1.1逻辑回归模型
考虑具有p个独立变量的向量,设条件概率为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为
(1.1)
上式右侧形式的函数称为称为逻辑函数。下图给出其函数图象形式。
其中。如果含有名义变量,则将其变为dummy变量。一个具有k个取值的名义变量,将变为k-1个dummy变量。这样,有
(1.2)
定义不发生事件的条件概率为
(1.3)
那么,事件发生与事件不发生的概率之比为
(1.4)
这个比值称为事件的发生比(the odds of experiencing an event),简称为odds。因为0<p<1,故odds>0。对odds取对数,即得到线性函数,
(1.5)
1.2极大似然函数
假设有n个观测样本,观测值分别为设为给定条件下得到的概率。在同样条件下得到的条件概率为。于是,得到一个观测值的概率为
(1.6)
因为各项观测独立,所以它们的联合分布可以表示为各边际分布的乘积。
(1.7)
上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是,最大似然估计的关键就是求出参数,使上式取得最大值。
对上述函数求对数
(1.8)
上式称为对数似然函数。为了估计能使取得最大的参数的值。
对此函数求导,得到p+1个似然方程。
(1.9)
,j=1,2,..,p.
上式称为似然方程。为了解上述非线性方程,应用牛顿-拉斐森(Newton-Raphson)方法进行迭代求解。
1.3 牛顿-拉斐森迭代法
对求二阶偏导数,即Hessian矩阵为
(1.10)
如果写成矩阵形式,以H表示Hessian矩阵,X表示
(1.11)
令
(1.12)
则。再令(注:前一个矩阵需转置),即似然方程的矩阵形式。
得牛顿迭代法的形式为
(1.13)
注意到上式中矩阵H为对称正定的,求解即为求解线性方程HX=U中的矩阵X。对H进行cholesky分解。
最大似然估计的渐近方差(asymptotic variance)和协方差(covariance)可以由信息矩阵(information matrix)的逆矩阵估计出来。而信息矩阵实际上是二阶导数的负值,表示为。估计值的方差和协方差表示为,也就是说,估计值的方差为矩阵I的逆矩阵的对角线上的值,而估计值和的协方差为除了对角线以外的值。然而在多数情况,我们将使用估计值的标准方差,表示为
,for j=0,1,2,…,p (1.14)
2.显著性检验
下面讨论在逻辑回归模型中自变量是否与反应变量显著相关的显著性检验。零假设:=0(表示自变量对事件发生可能性无影响作用)。如果零假设被拒绝,说明事件发生可能性依赖于的变化。
2.1 Wald test
对回归系数进行显著性检验时,通常使用Wald检验,其公式为
(2.1)
其中, 为的标准误差。这个单变量Wald统计量服从自由度等于1的分布。
如果需要检验假设:=0,计算统计量
(2.2)
其中,为去掉所在的行和列的估计值,相应地,为去掉所在的行和列的标准误差。这里,Wald统计量服从自由度等于p的分布。如果将上式写成矩阵形式,有
(2.3)
矩阵Q是第一列为零的一常数矩阵。例如,如果检验,则。
然而当回归系数的绝对值很大时,这一系数的估计标准误就会膨胀,于是会导致Wald统计值变得很小,以致第二类错误的概率增加。也就是说,在实际上会导致应该拒绝零假设时却未能拒绝。所以当发现回归系数的绝对值很大时,就不再用Wald统计值来检验零假设,而应该使用似然比检验来代替。
2.2 似然比(Likelihood ratio test)检验
在一个模型里面,含有变量与不含变量的对数似然值乘以-2的结果之差,服从分布。这一检验统计量称为似然比(likelihood ratio),用式子表示为
(2.4)
计算似然值采用公式(1.8)。
倘若需要检验假设:=0,计算统计量
(2.5)
上式中,表示=0的观测值的个数,而表示=1的观测值的个数,那么n就表示所有观测值的个数了。实际上,上式的右端的右半部分表示只含有的似然值。统计量G服从自由度为p的分布
2.3 Score检验
在零假设:=0下,设参数的估计值为,即对应的=0。计算Score统计量的公式为
(2.6)
上式中,表示在=0下的对数似然函数(1.9)的一价偏导数值,而表示在=0下的对数似然函数(1.9)的二价偏导数值。Score统计量服从自由度等于1的分布。
2.4 模型拟合信息
模型建立后,考虑和比较模型的拟合程度。有三个度量值可作为拟合的判断根据。
(1)-2LogLikelihood
(2.7)
(2) Akaik
您可能关注的文档
- 数学名师叶中豪整理高中数学竞赛平面几何讲义(完整版).doc
- 航运公司管理系统安全系统管理系统总汇编.doc
- 高中数学同步导学(2017新课标)(立体几何初步):专题三 空间点、线、面之间地位置关系.doc
- 行程问题(相遇、追及、多次相遇、电车).doc
- 湖南师大附中2011-2012学年高二12月阶段检测数学(理).doc
- 教学设备管理系统c++.doc
- 选煤厂安全系统规程AQ1010-2005.doc
- 湖南省张家界市民族中学2015-2016学年高二上学期第四次(12月)月考化学试题.doc
- 预拌干混砂浆购销规定合同.doc
- 材料力学实验报告材料-举例.doc
- 2024年郑州电工技师考试题库及答案低压电工实操考试题库(全国通用).doc
- 2024广东低压电工模拟考试电工模拟考试(全国通用).doc
- 2024年贵州低压电工证题库电工宝典(全国通用).doc
- 2024年河北电工证模拟考试电工实操考试内容(全国通用).doc
- 2024湖南低压电工实操考试题库建筑电工考试题库(全国通用).doc
- 2024年苏州低压电工证考试题库低压电工证题库(全国通用).doc
- 2024广西低压电工考试题库电工考试(全国通用).doc
- 2024年西安电工考试题库下载电工复审考试题库(全国通用).doc
- 2024山西电工证考试内容初级电工证考试试题库(全国通用).doc
- 党支部2024年党纪学习教育学习计划.docx
文档评论(0)