线性回归的问题和分析方法扩展.pptxVIP

1第五章线性回归的问题和分析方法扩展（下）第一节多重共线性第二节随机解释变量第三节误差项非正态分布第四节最大似然估计

2第一节多重共线性一、问题的性质和种类二、多重共线性的危害三、发现和检验四、多重共线性的克服和处理

3一、问题的性质和种类1、严格多重共线性模型设定问题识别问题2、近似多重共线性主要是数据问题，也有模型设定问题

随着多重共线性程度的提高，参数方差会急剧上升到很大的水平，理论上使最小二乘法估计的有效性、可靠性和价值都受到影响，实践中参数估计的稳定性和可靠程度下降。证明：把矩阵分为根据分块矩阵的运算法则有

其中因此参数的最小二乘估计的方差为其逆矩阵左上角的首项为

状态数检验方差扩大因子检验

分析已知记为，为。

当时，当时，方差扩大因子，记作常以方差扩大因子是否大于10来判断第个解释变量是否存在较强的、必须加以处理的多重共线性。321456

状态指数将矩阵的每一列用其模相除以实现标准化，然后再求矩阵的特征值，取其中最大的除以最小的后再求平方根，得到该矩阵的“状态数”，记为：通常当大于20或30时，认为存在较明显的多重共线性。

确定哪些解释变量的系数受到多重共线性的影响：先计算各个特征值的“状态指数”这些状态指数的水平在1到之间，很可能有好几个超过20-30的“危险”水平。020103

回归系数方差分解:如果V是对角化的(K+1)(K+1)对角矩阵：即其中是的特征值构成的对角矩阵。从而两种理解：如果特征值之和反映对被解释变量解释程度，倒数之和反映引起估计量方差的比重。

增加样本容量01差分方程02模型修正03分步估计参数04岭回归方法05

原理：样本容量越大，变量相关性越小，相关越难。注意局限，且不一定解决问题。

线性回归模型为01且已知和之间存在多重共线性问题。02作如下变换：03改用差分方程04进行回归，受多重共线性的影响比较小。05

删减解释变量（利用检验结论、经验等）整合解释变量（利用原模型回归信息、经验等）先验信息参数约束

先验信息参数约束16例：生产函数，经对数变换为：01如果预先知道所研究的经济有规模报酬不变的性质，即函数中的参数满足就可以克服多重共线性。02

1例：研究需求规律的模型3前一个模型变为2可以先求出模型中参数的估计值（用截面数据等）。4整理这个模型可以得到5从而估计出和的估计值和，6得到克服了多重共线性的回归直线

设一个多元线性回归模型为普通最小二乘估计的公式为当解释变量间存在严重的多重共线性时，矩阵接近于奇异。用代替代入最小二乘估计的公式，得到：其中称为“岭回归参数”，一般，是用矩阵对角线上元素和构成的对角线矩阵。

估计量的数学期望为：

BDAC解释变量的随机性工具变量法估计随机解释变量和参数估计的性质参数估计量的分布性质和统计推断

解释变量有随机性是普遍的问题。随机解释变量有不同的情况，关键是与误差项的相关性。不同情况对回归分析的影响不同，处理也不同。

1设模型为2其中误差项符合古典线性回归模型的各个假设。3参数二乘估计的参数为：把代入，得到

01如果是随机变量，但与误差项不相关，那么：02以为条件的的条件方差03是最小方差，从而的方差也是04最小方差。

如果是随机变量，与误差项小样本不独立，但大样本渐进不相关，即那么因为因此是的一致估计。虽然不是无偏估计。030102

其中不仅是随机变量，而且与有强相关性。ADBC对模型作离差变换得两边乘并求和得然后两边除以，有设模型为

的“工具变量法估计”为，即01的估计可以利用的估计得到02

多元回归工具变量法估计引进、选择多个关键变量。向量、矩阵表示。工具变量的选择问题：与替代解释变量相关性强与误差相相关性小避免引起共线性问题

问题：分布未知F统计量类似。0504统计量渐近t分布。两变量线性回归模型参数估计量01影响：t、F检验等仍基本有效。0302多元回归模型参数的最小二乘估计

存在随机解释变量时相关统计推断受到一定的影响

问题的提出误差项正态性的检验

误差项正态分布假设也不一定成立。误差项不服从正态分布时，称“非正态误差项”影响：统计推