第一部分2 经典线性回归模型.docVIP

PAGE 21 第二章 经典线性回归模型 一、线性回归模型的概念 1、一元线性回归模型 （1）总体回归模型 总体回归模型：， 总体回归方程： 说明：确定性部分——Y对于给定X的期望值 随机部分——代表了排除在模型以外的所有因素对Y的影响。它是期望为0的，具有一定分布的随机变量。 研究的目标： ①确定总体回归方程的参数 ②随机扰动项的分布（想想看，为什么？） （2）样本回归模型 问题：我们往往无法获得全体数据，无法准确的分析出总体回归参数。能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？ 画一条直线以尽好地拟合该散点图，由于样本取自总体，可以用该直线近似地代表总体回归线。该直线称为样本回归线。 样本回归模型： 样本回归方程： （3）样本回归线与总体回归线的关系 2、多元线性回归模型 在许多实际问题中，我们所研究的因变量的变动可能不仅与一个解释变量有关。 斜率 “β”的含义是其它变量不变的情况下，Xj改变一个单位对因变量所产生的影响 即对于n组观测值，有 定义： 多元线性回归模型的矩阵形式为（总体）：， （样本）， 二、经典线性回归模型的统计假设 引言：为什么要做基本假定 ①为了保证参数估计得以进行（或者有意义） ②为保证参数估计量具有良好的性质。 ③对于随机扰动的分布作出假定，才可能确定所估计参数的分布性质，也才可能进行假设检验 （1）线性假定。总体模型为 （2）严格外生性 即E(ut|X)=0, t=1,2,…,n； 含义：ut与所有解释变量都不相关 注；如果E(ut|X)=c，c为某常熟，但不一定为0.当回归方程中有常数项时，可以将这个非零的期望c并入常数项。 命题1：,扰动项的无条件期望为0 命题2，随机变量与扰动项正交。 （3）球形假定 无自相关假设 cov( ui, uj|Xi,Xj) = 0,即E(ui uj|Xi,Xj)=0, i≠j 含义：表明产生干扰的因素是完全随机的。此次干扰和彼此干扰互不相关，相互独立 同方差假设 ，即： 含义：①所需估计的方差数简化为一个。 ②可以推出，因变量可能取值的分散程度也是相同的。 ③每个观测的可信程度是一样的。 （2）（3）可以合并为： 假设（2），（3）说明随机项u的方差－协方差矩阵为对角矩阵： （4）各解释变量之间不存在严格的线性关系（即不存在“严格的多重共线性”） 即X是满秩的。此时矩阵X’X也是满秩的， 所以行列式 ，保证了 可逆。是OLS估计可以进行的前提。 含义： ①从直观含义来看。模型中的变量对于解释Y提供了新的信息，不能由其他信息完全替代 ②从参数的含义来看。保持其他信息不变时，如果存在严格多重共线，则无法做到 ③从系数的求解来看：缺少足够信息将两变量的影响区分开来 三、最小二乘估计 1、最小二乘估计原理 分析：直观上看，也就是要求在X和Y的散点图上穿过各观测点画出一条“最佳”直线，如下图所示。 选择一个好的拟合标准。，使得拟合的直线为最佳 。 因可正可负，所以取 最小。 取最小值 2、最小二乘估计的正规方程 最小二乘方法要求残差平方和最小 即，满足 可以写成： 也就是（正规方程，矩条件）： 3、一元线性回归模型的最小二乘估计 例如：一元线性回归的最小二乘估计 最小化：即找到使得残差平方和最小的参数近似值 用残差表示得到： ，并可以推导得到： 正规方程： 得参数估计： 可以从两个角度来理解参数估计： ①、参数估计量 给出了两个(随机的）估计量，此时强调估计量受到一个确定性变量和一个随机变量的影响。因此也是随机的。（估计量的分布是怎样的？） ②、参数估计值 将的具体观测数据带入公式，计算出具体的数值。此时表现为一个确定的数字。 4、最小二乘估计的矩阵表示 （具体可以参考陈强的书） 我们的目标是使得回归的残差平方和达到最小，即： 则它的一阶条件为： 化简得： 四、OLS估计量的性质 1、线性性(有助于确定估计量的分布) 2、无偏性（有助于确定正态分布的均值） 即 其中， 两边取期望 与零均值假定，以及非随机解释变量两个假设有关 3、最小方差性（有助于确定正态分布的方差） (1)方差-协方差矩阵： （2）方差协方差矩阵的计算 方法1： 方法2 估计量的方差协方差矩阵为： 五、最小二乘估计量的分布 1、多元线性回归中的无偏估计为 k为所有参数的个数，包括常数项。n-k是自由度 可以得到： ①估计量的方差为： ②样本方差为： ③样本标准差为： 2、OLS估计的分布 OLS估计量是随机变量，必须确定其分布才能进行区间估计和假设检验 分析： ①分布：根据线性性的性质： 随机干扰项是服从