第一部分经典线性回归模型.docVIP

第二章 经典线性回?归模型 一、线性回归模?型的概念 1、一元线性回?归模型 （1）总体回归模?型 总体回归模?型：， 总体回归方?程： 说明：确定性部分?——Y对于给定?X的期望值?——代表了排除?在模型以外?的所有因素?对Y的影响?。它是期望为?0的，具有一定分?布的随机变?量。 研究的目标?： ①确定总体回?归方程的参?数 ②随机扰动项?的分布（想想看，为什么？） （2）样本回归模?型 问题：我们往往无?法获得全体?数据，无法准确的?分析出总体?回归参数。能从一次抽?样中获得总?体的近似的?信息吗？如果可以，如何从抽样?中获得总体?的近似信息?？ 画一条直线?以尽好地拟?合该散点图?，由于样本取?自总体，可以用该直?线近似地代?表总体回归?线。该直线称为?样本回归线?。 样本回归模?型： 样本回归方?程： （3）样本回归线?与总体回归?线的关系 2、多元线性回?归模型 在许多实际?问题中，我们所研究?的因变量的?变动可能不?仅与一个解?释变量有关?。 斜率 “β”的含义是其?它变量不变?的情况下，Xj改变一?个单位对因?变量所产生?的影响 即对于n组?观测值，有 定义： 多元线性回?归模型的矩?阵形式为（总体）：， （样本）， 二、经典线性回?归模型的统?计假设 引言：为什么要做?基本假定 ①为了保证参?数估计得以?进行（或者有意义?） ②为保证参数?估计量具有?良好的性质?。 ③对于随机扰?动的分布作?出假定，才可能确定?所估计参数?的分布性质?，也才可能进?行假设检验? （1）线性假定。总体模型为? （）即E(ut)=0, t=1,2,…,n；ut与所有?E(ut|X)=c，c为某常熟?，但不一定为?0.当回归方程?中有常数项?时，可以将这个?非零的期望?c并入常数?项。 命题1：,扰动项的无?条件期望为?0 命题2，随机变量与?扰动项正交?。 （）cov( ui, uj|Xi,Xj) = 0,即E(ui uj|Xi,Xj)=0, i≠j 含义：表明产生干?扰的因素是?完全随机的?。此次干扰和?彼此干扰互?不相关，相互独立 同方差假设? ，即： 含义：①所需估计的?方差数简化?为一个。 ②可以推出，因变量可能?取值的分散?程度也是相?同的。 ③每个观测的?可信程度是?一样的。 （2）（3）可以合并为?： 假设（2），（3）说明随机项?u的方差－协方差矩阵?为对角矩阵?： （4）各解释变量?之间不存在?严格的线性?关系（即不存在“严格的多重?共线性”） 即X是满秩?的。此时矩阵X?’X也是满秩?的， 所以行列式? ，保证了 可逆。是OLS估?计可以进行?的前提。 含义： ①从直观含义?来看。模型中的变?量对于解释?Y提供了新? ②从参数的含?义来看。保持其他信?息不变时，如果存在严?格多重共线?，则无法做到? ③从系数的求?解来看：缺少足够信?息将两变量?的影响区分?开来 三、最小二乘估?计 1、最小二乘估?“最佳”直线，如下图所示?。 选择一个好?的拟合标准?。，使得拟合的?直线为最佳? 。 因可正可负?，所以取 最小。 取最小值 2、最小二乘估?计的正规方?程 最小二乘方?法要求残差?平方和最小? 即，满足 可以写成： 也就是（正规方程，矩条件）： 3、一元线性回?归模型的最?小二乘估计? 例如：一元线性回?归的最小二?乘估计 最小化：即找到使得?残差平方和?最小的参数?近似值 用残差表示?得到： ，并可以推导?得到： 正规方程： 得参数估计?： 可以从两个?角度来理解?参数估计： ①、参数估计量? 给出了两个?( ②、参数估计值? 将的具体观?测数据带入?公式，计算出具体?的数值。此时表现为?一个确定的?数字。 （具体可以参?考陈强的书?） 我们的目标?是使得回归?的残差平方?和达到最小?，即： 则它的一阶?条件为： 化简得：四、OLS估计?量的性质 1、线性性(有助于确定?估计量的分?布) 2、无偏性（有助于确定?正态分布的?均值） 即 其中， 两边取期望? 与零均值假?定，以及非随机?解释变量两?个假设有关? 3、最小方差性?（有助于确定?正态分布的?方差） (1)方差-协方差矩阵?： （2）方差协方差?矩阵的计算? 方法1： 方法2 估计量的方?差协方差矩?阵为： 五、最小二乘估?计量的分布? 1、多元线性回?归中的无偏?估计为 k为所有参? ②样本方差为?： ③样本标准差?为： 2、OLS估计?的分布 OLS估计? 随机干扰项?是服从正态?分布的随机?变量，决定了Y也?是服从正态?分布的随机?变量。 OLS估计?S估计量是? ②均值：根据无偏性?：估计