财大回归分析期末福利.docVIP

实用回归分析期末总结 （2013,12,23） 一元线性回归模型的假设 在给定样本， ， , 令 模型的矩阵形式可表示为： 设随机误差，则模型可写为 参数的最小二乘估计 样本观测值的离差：； 离差平方和: 所谓的最小二乘估计(LSE)和，就是使达到最小的，即要求估计满足 解之得 最小二乘法估计的性质 最小二乘法得到的参数估计，具有线性特性，无偏性及最优性三种重要的统计特性。 1）线性性，即估计量为随机变量的线性函数。 利用可把改写为 , 其中，是的常数， 所以是变量的线性组合。 对而言，因为： ， 可见也是的线性组合。 2）无偏性，即，。 由模型假设知：，故 ， 可见，与分别是的无偏估计。 3）最优性，最优性是指最小二乘估计在所有线性无偏估计当中，具有最小方差。这时也称分别是得最优线性无偏估计（Best Linear Unbiased Estimator, 简记为BLUE）， 其方差。 类似地，，其方差。 4) 设随机误差， ～, ～ 证明：由前面都是n个正态随机变量的线性组合，故也 遵从正态分布。而正态分布仅由其均值与方差决定。故⑴，⑵得证。 利用协方差的性质， 。 || 一元线性回归模型的显著性检验 1）-检验 -检验的过程通常用方差分析表进行，见表2.2. 表2.2 方差分析 方差来源 平方和 自由度 均方 值 回归 剩余 总和 1 n-2 n-1 2）-检验法 下面构造-检验统计量来检验假设。由前面的知识知道 ～，， 且与独立（下一章将给出其证明） 即： ， 其中： 当为真时，即，此时检验统计量为： 当时，拒绝。 3）相关系数的检验 即把回归平方和与总平方和之比定义为样本决定系数，记为。 4）三种检验的关系 前面介绍了回归系数显著性的-检验，-检验及相关系数的检验，三者之间有着密切的关系。从计算式子上看： ， 。 可见三者之间是等价的。因而，对一元线性回归实际只需要作其中一种检验即可。然而对于下一章将会讲到的多元线性回归而言，这三种检验所考虑的问题已有不同，所以并不等价，是三种不同的检验。 一元线性回归模型的回归预测与区间估计 若在处的回归值为称为的预测值。在模型下，不难证明 ， 因而，为相应的期望值的一个无偏估计。可见预测值与目标值有相同的均值。 于是，对于给定的置信水平，的置信区间为： 上述区间称为的置信水平为的预测区间， 在实际问题中，样本容量通常很大，若在的附近时，预测区间中的根式近似等于1，而，此时的置信水平为的预测区间近似地等于 。 可化为线性回归的曲线回归 多元线性回归模型 若已经获得组观测数据，， 则模型可表示为： 令 ，，，， 则模型变为： ， 称是多元回归模型的矩阵形式。 回归方程的基本假定： 假设1. 自变量是确定性变量，不是随机变量，且，即为一个满秩矩阵。 假设2. 满足高斯－马尔柯夫条件（G-M条件），即 假设3. 正态分布的假设条件为： 在上假设1和假设2满足的条件下，多元回归模型的矩阵形式可以写为 在如上三个假设满足的条件下，多元回归模型的矩阵形式可以写为： 多元线性回归模型的参数估计 在多元线性回归模型中，寻找参数的最小二乘估计向量，即寻找使离差平方和 达到极小的的值，即寻找使其满足 称为回归参数的最小二乘估计。 满足如下方程组： 且 其中，对于任意的和， ， 。 其解的矩阵形式为 即为回归参数的最小二乘估计。 正规方程组： 回归值或拟合值：称向量为的回归值或拟合值。 回归残差向量：， 且 于是有 且由（3.11）式可知残差满足关系式： ， ， 上式的矩阵形式为： 。 误差项方差的一个无偏估计为 . 参数的极大似然估计 参数的最小二乘估计的性质 性质1：是随机向量的一个线性变换。 证明：由于，由回归模型假设知道，是固定的设计矩阵，因此是随机向量的一个线性变换。 性质2：是的无偏估计。 证明： 这一性质与一元线性回归无偏性的性质相同。 性质3：的协方差阵。