第九讲定类或定序因变量回归分析.pptxVIP

第九讲定类或定序因变量回归分析;从统计理论上看,在进行最小二乘法得参数估计时,我们仅仅关注残差项ε得分布,很少对因变量Y所服从得分布予以关注,实际上,我们拥有Y得信息要远远大于拥有残差项ε得信息。

因变量Y服从正态分布得推断来源于残差项服从正态分布,因为Y就是残差项得线性函数。事实上,社会经济现象往往有不同于正态分布得其她分布,例如:

(1)二项分布(binomialdistribution)

(2)泊松分布(Poisson)

;二、线性概率模型;2、线性概率模型存在得问题;三、简单对数比率回归

;表1概率、比率和对数比率;该模型即为logit回归模型。logit回归模型实际上就是普通多元线性回归模型得推广,但她得误差项服从二项分布而非正态分布,因此,需要采用极大似然估计方法进行参数估计,参数?称为logit回归系数,表示当其她自变量取值保持不变时,该自变量取值增加一个单位引起得发生比自然对数值得变化量。;2、发生比;9;四、极大似然估计得基本思想

1)概率问题

例1、假定我们要估计一样本中男性得发生概率。以s表示样本中男性得数量;N就是样本规模;π就是总体中男性得概率(?=0、5)。

根据贝努利公式:

其中k!=k(k-1)…2、1

10个样本中有3个男性得概率为:

如果我们已知样本中s、N及其概率分布得信息,需要估计总体特征?,则需要借助极大似然估计法来完成。极大似然估计ML就就是估计这样一个参数值,由于该参数得存在可以使得被观察得事件最有可能发生。;2)似然函数

当已知N和?,求s发生得可能性有多大,所建立得函数,称为概率函数。而当已知N和s,求?发生得可能性有多大,所建立得函数,称为似然函数。

二者得差异:第一、前者就是在参数已知下得数据得函数,后者就是在数据已知条件下得参数得函数。第二、参数值就是由可能性最高得值决定,我们称该值为极大似然估计。

L(π/s=3,N=10)=

由于极大似然估计就就是估计参数值?,使得样本发生得可能性最大,故求最大化得前提就是对上式求偏导:;解得上式可以得到?得估计值为0、3;例2,运用极大似然估计法估计泊松分布中参数;LnL=-N?+?yiln(?)-?ln(yi!)

?lnL/??=-N+?yi/?

?=?yi/N;例3、运用极大似然估计法估计正态分布中得参数;例3、估计logistic回归模型中得参数

由于logistic模型就是二项分布,其似然函数为:

L=

;通过三个例子得比较,我们可以看出在线性回归中,似然函数就是通过对似然方程求偏导数得到得,对于未知参数就是线性得,容易求解,但就是对于logistic回归,似然函数就是α和β得非线性函数,求解比较困难,需要借助于计算机,通过迭代计算完成。

最大似然估计与OLS估计得统计性质几乎完全相同,即具有一致性、渐进有效性和渐进正态性。一致性就是指当样本规模增大时,模型参数估计逐渐向真值收敛,即估计将近似于无偏。所谓渐进有效性就是指当样本规模增大时,参数估计得标准误相应缩小。所谓渐进正态性就是指随着样本规模增大,最大似然估计值得分布渐进于正态分布。;五、logistic回归模型及参数估计得评价;2、拟合优度检验;2)、Hosmer-Lemeshow拟合优度检验

该方法通常适用于自变量很多,或自变量为连续变量得情形。HL方法根据预测概率得大小将所有观察单位十等分,然后根据每一组中因变量得实际值与理论值计算Peason卡方,其统计量为:

其中G代表分组数,且G?10;ng为第g组中得观测值数;yg第g组事件得观测数量;pg为第g组得预测事件概率;ngpg为事件得预测值,实际上她等于第g组得观测概率和。

;3)对数似然比卡方检验

对数似然比就是用较复杂模型得似然与基本模型得似然进行比较。因为就是非常小得数,通常将似然取对数并乘以-2,即-2logL,简称对数似然。

通常基本模型以独立模型表示:

用L0表示独立模型得似然,L1表示非独立模型得似然,那么对数似然比定义为:

遵循卡方分布,其自由度为非独立模型得自变量数目,可用于检验复杂模型中自变量对似然率得增加就是否显著,越大越好。

;3、logit模型回归系数得假设检验;六、模型解释;预测概率;练习:二分变量logit回归模型得实证分析——英国国会权力下放后得国民身份认同感分析;七、多项对数比率回归;