logistic回归与线性回归的比较.pdf

logistic回归与线性回归的比较

1logistic回归

logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘,疾病自动诊

断,经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病

情分析为例,选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。

因此因变量就为是否胃癌，值为“是”或“否”,自变量就可以包括很多了，如年龄、性别、饮食习惯、幽

门螺杆菌感染等.自变量既可以是连续的，也可以是分类的.然后通过logistic回归分析，可以得到自变量

的权重，从而可以大致了解到底哪些因素是胃癌的危险因素.同时根据该权值可以根据危险因素预测一个人

患癌症的可能性。

1.1logistic回归概述

logistic回归是一种广义线性回归（generalizedlinearmodel）,因此与多重线性回归分

析有很多相同之处。它们的模型形式基本上相同，都具有w‘x+b，其中w和b是待求参数，其

区别在于他们的因变量不同，多重线性回归直接将w‘x+b作为因变量,即y=w‘x+b，而logistic

回归则通过函数L将w‘x+b对应一个隐状态p，p=L（w‘x+b），然后根据p与1-p的大小决

定因变量的值。如果L是logistic函数，就是logistic回归，如果L是多项式函数就是多项

式回归.

logistic回归的因变量可以是二分类的,也可以是多分类的，但是二分类的更为常用，也更

加容易解释，多类可以使用softmax方法进行处理。实际中最为常用的就是二分类的logistic

回归.

Logistic回归模型的适用条件

1因变量为二分类的分类变量或某事件的发生率，并且是数值型变量。但是需要注意，重

复计数现象指标不适用于Logistic回归。

2残差和因变量都要服从二项分布。二项分布对应的是分类变量，所以不是正态分布,进而

不是用最小二乘法，而是最大似然法来解决方程估计和检验问题。

3自变量和Logistic概率是线性关系

logistic回归与线性回归的比较

4各观测对象间相互独立.

原理：如果直接将线性回归的模型扣到Logistic回归中，会造成方程二边取值区间不同和

普遍的非直线关系。因为Logistic中因变量为二分类变量，某个概率作为方程的因变量估计值

取值范围为0-1，但是，方程右边取值范围是无穷大或者无穷小。所以,才引入Logistic回归.

Logistic回归实质：发生概率除以没有发生概率再取对数。就是这个不太繁琐的变换改变

了取值区间的矛盾和因变量自变量间的曲线关系。究其原因,是发生和未发生的概率成为了比

值，这个比值就是一个缓冲,将取值范围扩大，再进行对数变换，整个因变量改变。不仅如此，

这种变换往往使得因变量和自变量之间呈线性关系，这是根据大量实践而总结。所以，Logistic

回归从根本上解决因变量要不是连续变量怎么办的问题.还有，Logistic应用广泛的原因是许多

现实问题跟它的模型吻合.例如一件事情是否发生跟其他数值型自变量的关系。

注意：如果自变量为字符型，就需要进行重新编码。一般如果自变量有三个水平就非常难

对付，所以,如果自变量有更多水平就太复杂。这里只讨论自变量只有三个水平.非常麻烦，需

要再设二个新变量。共有三个变量，第一个变量编码1为高水平,其他水平为0.第二个变量编码

1为中间水平,0为其他水平.第三个变量，所有水平都为0。实在是麻烦，而且不容易理解。最

好不要这样做，也就是，最好自变量都为连续变量。

spss操作：进入Logistic回归主对话框,通用操作不赘述。

发现没有自变量这个说法，只有协变量，其实协变量就是自变量。旁边的块就是可以设置

很多模型。

“方法”栏:这个根据词语理解不容易明白，需要说明。

共有7种方法.但是都是有规律可寻的。

“向前”和“向后：向前是事先用一步一步的方法筛选自变量，也就是先设立门槛。称作

“前”。而向后，是先把所有的自变量都进来，然后再筛选自变量