计量经济学3.2 多元线性回归参数估计.ppt

§3.2 多元线性回归模型的估计 参数的普通最小二乘估计（OLS） 普通最小二乘法给出的判断标准是：观测值与回归函数值二者之差的平方和最小。 *二、最大似然估计 对于多元线性回归模型 *三、矩估计（Moment Method, MM） OLS估计是通过得到一个关于参数估计值的正规方程组 四、参数估计量的性质 在满足基本假设的情况下，其结构参数?的普通最小二乘估计、最大或然估计及矩估计仍具有： 线性性、无偏性、有效性。 五、样本容量问题 一方面，计量经济学模型是从已经发生的经济活动的样本数据中寻找经济活动中蕴涵的规律。因此，对样本数据具有很强的依赖性。从建模需要的角度来讲，样本容量越大越好。 另一方面，收集和整理样本数据是非常困难的工作（收集，加工并以某种形式展现数据－经济统计学），从减轻收集数据的困难角度，样本数据越少越好。 怎样选择合适的样本容量，使其既能满足建模的需要，又能减少收集数据的困难？ 需要讨论满足建模基本要求所需的样本容量和最小样本容量。 五、样本容量问题 所谓“最小样本容量”，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。 六、多元线性回归模型的参数估计实例 例3.2.2 在例2.5.1中，已建立了中国居民人均消费一元线性模型。这里我们再考虑建立多元线性模型。 练习 * 一、普通最小二乘估计 *二、最大或然估计 *三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例 有： 对于随机抽取的n组观测值 最小。 根据微分运算，参数估计值应该是下列方程组的解 其中 方程组（*）称为正规方程组（normal equations）。 ( * ) 化简 正规方程组的矩阵形式 即 由于X’X满秩， 如何用矩阵证明 ？ 记住 （根据性质：X是满秩的，进而X’X是正定（进而是满秩）的） 故有 将上述过程用矩阵表示如下：（见教材P61） 即求解方程组： 记住 由于： 列矩阵 例3.2.1：在例2.1.1的家庭收入-消费支出例中， 可求得 于是 正规方程组 的另一种写法 对于正规方程组 于是 或 (*)或（**）是多元线性回归模型正规方程组的另一种写法 (*) (**) 记 参数的普通最小二乘估计的离差形式 为Xj和Y的样本均值 和 为Xji和Yi对均值的离差 和 如何得到？ 可得样本回归函数的离差形式为： i=1,2…n 证明： i=1,2…n 已知： 则有： (2) (1) 将(2)式等号两边同时除以n，可得： 将(1)-(3)式可得： (3) 即： 样本回归函数的离差形式的矩阵表示 i=1,2…n 则离差形式可用矩阵形式为 令 在离差形式下，参数的最小二乘估计结果为 why？ 注意：此处的 不包括?0 离差形式为: （可由正规方程组的第一个方程得到） 证明： 则有： 根据最小二乘原理，有e’e取最小值，可得： 其中 已知： 随机误差项?的方差的估计量为 其中，n- k+1是 ? ei2的自由度。 why？ ?2的最小二乘估计 注意：该估计量为无偏估计量 估计参数的方差－协方差矩阵（补充） 的方差－协方差矩阵如下： Why？ Why？ 1. OLS回归线通过Y和X1, X2, …, Xk的样本均值点 多变量OLS回归线的性质 Why? Why? 2. 估计的Y均值等于实测的Y均值： ^ 由正规方程组的第一个方程 可得。 已知： 将(1)代入(2)，可得： (1) (2) (3)式等号两边求和，得： (3) 即： 证明： 3. 残差 的均值为零 或 即： Why? 已知： 证明： (1) (3) 由(1)可得： 将(2)代入(3)可得： 故有： (2) 4. 残差 和Xj值不相关 即 Why？ 证明： 已知： 根据最小二乘原理，有： 5. 残差 和预测的Y值不相关， 即 Why？ 证明： 已知： 易知 Y的随机抽取的n组样本观测值的联合概率 即为变量Y的似然函数 对数似然函数为 对对数或然函数求极大值，也就是对 求极小值。 因此，参数的最大或然估计与参数的普通最小二乘估计相同，为： 寻找一组参数估计值 ，使得残差平方和最小。 ?2的最大似然估计 此估计量不同于OLS的估计量，不是无偏估计量 已知： 则有： 并对它进行求解而完成的。 该正规方程组 可以从另外一种思路来导出: 求期望 : 称为原总体回归方程的一组矩条件，表明了原总体回归方程所具有的内在特征。 由此得到正规方程组 解此正规方程组即得参数的MM