多元线性回归.docVIP

HYPERLINK /yueyedeai/article/details多元线性回归 1、多元线性回归模型 假定被解释变量与多个解释变量之间具有线性关系，是解释变量的多元线性函数，称为多元线性回归模型。即 ?(1.1) 其中为被解释变量，为个解释变量，为个未知参数，为随机误差项。 被解释变量的期望值与解释变量的线性方程为： ?(1.2) 称为多元总体线性回归方程，简称总体回归方程。 对于组观测值，其方程组形式为： ?(1.3) 即 其矩阵形式为 =+ 即 ?(1.4) 其中 为被解释变量的观测值向量；为解释变量的观测值矩阵；为总体回归参数向量；为随机误差项向量。 总体回归方程表示为： (1.5) 多元线性回归模型包含多个解释变量，多个解释变量同时对被解释变量发生作用，若要考察其中一个解释变量对的影响就必须假设其它解释变量保持不变来进行分析。因此多元线性回归模型中的回归系数为偏回归系数，即反映了当模型中的其它变量不变时，其中一个解释变量对因变量的均值的影响。 由于参数都是未知的,可以利用样本观测值对它们进行估计。若计算得到的参数估计值为，用参数估计值替代总体回归函数的未知参数，则得多元线性样本回归方程： ?(1.6) 其中为参数估计值，为的样本回归值或样本拟合值、样本估计值。 其矩阵表达形式为: ?(1.7) 其中为被解释变量样本观测值向量的阶拟合值列向量；为解释变量的阶样本观测矩阵；为未知参数向量的阶估计值列向量。 样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差。 ?(1.8) 2、多元线性回归模型的假定 与一元线性回归模型相同，多元线性回归模型利用普通最小二乘法(OLS)对参数进行估计时，有如下假定： 假定1零均值假定：，即 ?(2.1) 假定2?同方差假定(的方差为同一常数)： （2.2） 假定3?无自相关性： ?(2.3) 假定4?随机误差项与解释变量不相关(这个假定自动成立)： （2.4） 假定5?随机误差项服从均值为零，方差为的正态分布： （2.5） 假定6?解释变量之间不存在多重共线性： 即各解释变量的样本观测值之间线性无关，解释变量的样本观测值矩阵的秩为参数个数k+1，从而保证参数的估计值唯一。 3、多元线性回归模型的参数估计 3.1回归参数的最小二乘估计 对于含有个解释变量的多元线性回归模型 设分别作为参数的估计量，得样本回归方程为： 观测值与回归值的残差为： 由最小二乘法可知应使全部观测值与回归值的残差的平方和最小，即使 ?(3.1) 取得最小值。根据多元函数的极值原理，分别对求一阶偏导，并令其等于零，即 ?(3.2) 即 化简得下列方程组 ?(3.3) 上述个方程称为正规方程，其矩阵形式为 ?(3.4) 因为 设为估计值向量 样本回归模型两边同乘样本观测值矩阵的转置矩阵，则有 得正规方程组： ?(3.5) 由假定(6)，，为阶方阵，所以满秩，的逆矩阵存在。因而 ?(3.6) 则为向量的OLS估计量。 以二元线性回归模型为例，导出二元线性回归模型的OLS估计量的表达式。由(1.3)式得二元线性回归模型为 为了计算的方便，先将模型中心化。 设，则二元回归模型改写为中心化模型。 ?(3.7) 记 ?(3.8) 将代入得 ?(3.9) 因为 ?(3.10) 则 由(3.6)式得 ?(3.11) 其中 由(3.11)式可知 得 ?(3.12) ?(3.13) ?(3.14) 3.2随机误差项的方差的估计量 样本回归方程得到的被解释变量估计值与实际观测值之间的偏差称为残差 则 设，可以得出是阶对称幂等矩阵，，。于是 而残差的平方和为 其中表示矩阵的迹，即矩阵主对角线元素的和。于是 随机误差项的方差的无偏估计量，记作，即，，为残差的标准差(或回归标准差)。 因此 ?(3.15) 其中 ?(3.16) 例如,对于二元线性回归模型() ?(3.17) ?(3.18) 3.3、估计参数的统计性质 1、线性性 指最小二乘估计量是被解释变量的观测值的线性函数。 由于 设，则矩阵为一非随机的阶常数矩阵。所以 ?(3.19) 显然最小二乘估计量是被解释变量的观测值的线性函数。 2、无偏性 将代入(3-16)式得 ?(3.20) 则 所以是的无偏估计量。 3.最小方差性 设为阶数值矩阵，为阶随机矩阵(随机变量为元素的矩阵)，为阶数值矩阵，则 下面推导的方差、协方差矩阵。 定义： 由(3.20)式得 所以 ?(3.21) 这个矩阵主对角线上的元素表示的方差，非主对角线上的元素表示的协方差。例如是位于的第行与第列交叉处的元素(主对角线上的元素)；是位于的第行与第列交叉处的元素(非主对角线上的元素) 在应用上，我们关心的的方差，而忽略协方差，因此把(3.21)式记作 ?(3.22) 记，则，所以是的最小