线性回归的问题及分析方法扩展.ppt

第五章 线性回归的问题和分析方法扩展（下） 第一节 多重共线性 第二节 随机解释变量 第三节 误差项非正态分布 第四节 最大似然估计 第一节 多重共线性 一、问题的性质和种类 二、多重共线性的危害 三、发现和检验 四、多重共线性的克服和处理 一、问题的性质和种类 1、严格多重共线性 模型设定问题 识别问题 2、近似多重共线性 主要是数据问题，也有模型设定问题 二、 （近似）多重共线性的危害 *随着多重共线性程度的提高，参数方差会急剧上升到很大的水平，理论上使最小二乘法估计的有效性、可靠性和价值都受到影响，实践中参数估计的稳定性和可靠程度下降。 *证明：把 矩阵分为 根据分块矩阵的运算法则有 其逆矩阵 左上角的首项为 其中 因此参数 的最小二乘估计 的方差为 三、发现和检验 （一）方差扩大因子检验 （二）状态数检验 （一）方差扩大因子检验 分析已知 记 为 ， 为 。 当 时， 当 时， 方差扩大因子，记作 常以方差扩大因子是否大于10来判断第 个解释变量是否存在较强的、必须加以处理 的多重共线性。 （二）状态数检验 1、 状态指数 将 矩阵的每一列 用其模 相除以实现标准化，然后再求 矩阵的特征值，取其中最大的除以最小的后再求平方根，得到该矩阵的“状态数”，记为： 通常当 大于20或30时，认为存在较明显的多重共线性。 确定哪些解释变量的系数受到多重共线性的影响： 先计算各个特征值的“状态指数” 这些状态指数的水平在1到 之间，很可能有好几个超过20-30的“危险”水平。 2、回归系数方差分解:如果V是对角化 的(K+1) (K+1)对角矩阵：即 其中 是 的特征值构成的对角矩阵。 从而 两种理解：如果特征值之和反映对被解释变量解释程度，倒数之和反映引起估计量方差的比重。 四、多重共线性的克服和处理 （一）增加样本容量 （二）差分方程 （三）模型修正 （四）分步估计参数 （五）岭回归方法 （一）增加样本容量 原理：样本容量越大，变量相关性越小，相关越难。 注意局限，且不一定解决问题。 （二）差分方程 线性回归模型为 且已知 和 之间存在多重共线性问题。 作如下变换： 改用差分方程 进行回归，受多重共线性的影响比较小。 （三）模型修正 1、删减解释变量（利用检验结论、经验等） 2、整合解释变量（利用原模型回归信息、经验等） 3、先验信息参数约束 先验信息参数约束 例：生产函数 ，经对数变换为： 如果预先知道所研究的经济有规模报酬不变的性质，即函数中的参数满足 就可以克服多重共线性。 （四）分步估计参数 例：研究需求规律的模型 可以先求出模型中参数 的估计值（用截面数据等）。 前一个模型变为 整理这个模型可以得到 从而估计出 和 的估计值 和 ， 得到克服了多重共线性的回归直线 （五）岭回归方法 设一个多元线性回归模型为 普通最小二乘估计的公式为 当解释变量间存在严重的多重共线性时， 矩阵接近于奇异。 用 代替 代入最小二乘估计的公式，得到： 其中 称为“岭回归参数”，一般 ， 是用 矩阵对角线上元素 和 构成的对角线矩阵 。 （五）岭回归方法 估计量的数学期望为： 第二节 随机解释变量 一、解释变量的随机性 二、随机解释变量和参数估计的性质 三、工具变量法估计 四、参数估计量的分布性质和统计推断 一、解释变量的随机性和问题 解释变量有随机性是普遍的问题。 随机解释变量有不同的情况，关键是与误差项的相关性。 不同情况对回归分析的影响不同，处理也不同。 二、随机解释变量和参数估计的性质 设模型为 其中误差项符合古典线性回归模型的各个假设。 参数二乘估计的参数为： 把 代入 ，得到 如果 是随机变量，但与误差项不相关，那么： 以 为条件的 的条件方差 是最小方差，从而 的方差 也是 最小方差。 如果 是随机变量，与误差项小样本不独立，但大样本渐进不相关，即 那么因为 因此 是 的一致估计。虽然不是无偏估计。 三、工具变量法估计 设模型为 其中 不仅是随机变量，而且与