3.2 多元线性回归模型的参数估计22239.pptVIP

第二节 多元线性回归模型的参数估计 1.最小二乘准则：残差平方和最小 2.最小二乘估计量的推导过程 一、参数的最小二乘估计 将上式化简整理后得 正规方程组的矩阵形式 即 将上述过程用矩阵表示如下： 即求解方程组： 得到： 于是： 3.离差形式的最小二乘估计量 考察离差形式的多元总体线性回归模型：因为， 从而得离差形式的总体模型： 离差形式总体模型的矩阵形式为： 模型中： 利用OLS法，得关于参数估计量的正规方程组： OLS估计量计算公式中： 令： 则： 特别地，对于二元模型，正规方程组可写成： 解之得： 例3.1 教材54页 解：参数的最小二乘估计量为 其中 代入数据得 4.几个常用结果 残差均值为0； 残差与解释变量不相关； Y的均值等于其估计值的均值； k个解释变量X的均值和Y的均值满足样本回归方程。 5.随机误差项u的方差 的无偏估计 随机误差项u的方差 的无偏估计量为: 其中k为解释变量的个数。 其证明过程如下： e 关于残差平方和的计算： 类似可得离差形式计算公式： 特别，当为二元模型时： 用离差形式表示为： 二、参数估计量的性质 在满足基本假定的情况下，未知参数?的普通最小二乘估计量仍具有：线性性、无偏性、有效性。 1、线性性 证明 2、无偏性 无偏性是指估计量的数学期望等于参数真实值。 证明 对上式两端取数学期望得 3、有效性（最小方差性） 最小方差性是指在所有的线性无偏估计量中，OLS估计量具有最小的方差。 令 则有 以下证明最小方差性： 设b是β的又一线性无偏估计量，不失一般性，令 则： b ∴ ∴ 而： 上式中，矩阵PP′的主对角线上所有元素非负，所以 有： =0 以上证明过程中得到了参数估计量的方差，即： 对于离差形式二元模型有：