Logistic回归模型分析和总结.docx

实用标准文档

实用标准文档

文案大全

文案大全

Logistic回归模型

Logistic回归模型的基本知识

Logistic模型简介

主要应用在研究某些现象发生的概率p，比如股票涨还是跌，公司成功或失败的概率，以及讨论概率p与那些因素有关。显然作为概率值，一定有0?p?1，因此很难用线性模型描述概率p与自变量的关系，另外如果p接近两个极端值，此时一般方法难以较好地反映p的微小变化。为此在构建p与自变量关系的模型时，变换一下思路，不直接研究p，而是研究p的一个严格单调函数G(p)，并要求G(p)在p

接近两端值时对其微小变化很敏感。于是Logit变换被提出来：

Logit(p)?ln p （1）

1?p

其中当p从0?1时，Logit(p)从?????，这个变化范围在模型数据处理上带来很大的方便，

解决了上述面临的难题。另外从函数的变形可得如下等价的公式：

p

e?TX

Logit(p)?ln ??TX

1?p

? p?

1?e?TX

（2）

模型(2)的基本要求是，因变量（y）是个二元变量，仅取0或1两个值，而因变量取1的概率P(y?1|X)

就是模型要研究的对象。而X?(1,x,x

1 2

,?,x)T

k

，其中x

表示影响y的第i个因素，它可以是定性变量

i

也可以是定量变量，??(?

0

,?,?,?

1 k

)T。为此模型(2)可以表述成：

ln p

1?p

?? ??x

0 11

????x

k k

? ? e?0??1x1????kxk

p1?e?0??1x1????kxk

p

（3）

显然E(y)?p，故上述模型表明ln

E(y)

是x,x

,?,x

的线性函数。此时我们称满足上面条件

1?E(y) 1 2 k

的回归方程为Logistic线性回归。

Logistic线性回归的主要问题是不能用普通的回归方式来分析模型，一方面离散变量的误差形式服从伯努利分布而非正态分布，即没有正态性假设前提；二是二值变量方差不是常数，有异方差性。不同于多元线性回归的最小二乘估计法则(残差平方和最小)，Logistic变换的非线性特征采用极大似然估计的方法寻求最佳的回归系数。因此评价模型的拟合度的标准变为似然值而非离差平方和。

定义1 称事件发生与不发生的概率比为优势比(比数比oddsratio简称OR)，形式上表示为

p

?OR=

?

1 p

?e?0??1x1????kxk

（4）

定义2 Logistic回归模型是通过极大似然估计法得到的，故模型好坏的评价准则有似然值来表征，

称

-2lnL(??)为估计值??的拟合似然度，该值越小越好，如果模型完全拟合，则似然值L(??)为1，而拟合似然度达到最小，值为0。其中lnL(??)表示??的对数似然函数值。

定义3 记

Var(??)

为估计值??

的方差-协方差矩阵，

2??

2

S(??)?[Var(??)]1

为??

的标准差矩阵，则称

w ?[ ii S

ii

]2,i?1,2,?,k （5）

为??的Wald统计量，在大样本时，w近似服从?

i i

2(1)分布，通过它实现对系数的显著性检验。

定义4 假定方程中只有常数项? ，即各变量的系数均为0，此时称

0

?2??2[lnL(??)?lnL(??)] （6）

0

为方程的显著性似然统计量，在大样本时，?

近似服从?

2(k)分布。

Logistic模型的分类及主要问题

根据研究设计的不同，Logistic回归通常分为成组资料的非条件Logistic回归和配对资料的条件Logistic回归两种大类。还兼具两分类和多分类之分，分组与未分组之分，有序与无序变量之分。具体如下：

两分类非条件Logistic回归：分组数据的Logistic回归，未分组数据的Logistic回归；多分类非条件Logistic回归：无序变量Logistic回归，无序变量Logistic回归；

条件Logistic回归：1:1型、1:M型和M:N型Logistic回归。

关于Logistic回归，主要研究的内容包括：

模型参数的估计及检验

变量模型化及自变量的选择

模型评价和预测问题

模型应用

Logistic模型的参数估计及算法实现

两分类分组数据非条件Logistic回归

因变量