4三章多元线性回归模型分析二.pptVIP

§3.3 OLS估计量的有限样本性质;之前我们对线性回归的代数性质进行了分析。下面将从统计角度对最小二乘估计进行分析。 我们将在有限样本（n确定且较小）情形下考虑参数估计的无偏性，以及某些统计量的确切概率分布。这些结果可能要求一些比较强的假设条件，例如回归变量的非随机性，残差序列的正态概率分布等。 在以后的章节中我们将在更为一般的假设下考虑最小二乘估计的性质，这时随着样本数量的增加，一些性质则是渐近成立的。（待定） ;本章中，我们考虑在古典假设下最小二乘估计的性质。我们始终假设模型的线性结构满足。 ;1、线性性 2、无偏性 ; 3、有效性 最小二乘估计量是所有线性无偏估计量中方差最小的。（其证明将借助于估计量方差的估计） ;;;;;;;;;;;;;;;;;;;;;;;参数估计量的方差-协方差矩阵和随机误差项?2方差的估计;1、参数估计量的方差-协方差;由于矩阵;;;;所以 ;;;定理 Gauss – Markov Theorem 高斯—马尔可夫定理 (1) 在具有线性回归矩阵 的古典线性回归模型中，最小二乘估计 是系数 的最小方差线性无偏估计； (2) 对任意常数向量 ，在古典线性回归模型中参数 的最小方差线性无偏估计是 ，这里 是最小二乘估计。;上述定理的（2），被称为最小二乘估计不变性。 利用此定理可考虑系数之间的整体作用和交互作用。所有参数的不同组合，可通过w的不同取值来得到。 例如：为得到 的估计量，可令 若要得到 的估计量呢？;2、随机误差项方差?2的估计;这说明，所猜想的方差估计量不行，而要寻找?2的无偏估计。;;;;样本容量问题;1、最小样本容量;2、满足基本要求的样本容量 ;§3.4 单方程模型的统计检验 （一）;一、拟合优度检验 二、方程显著性检验 三、变量显著性检验 ;一、拟合优度和方差分析;问题：采用普通最小二乘估计方法，已经保证了模型最好地拟合了样本观测值，为什么还要检验拟合程度？ ; 用最小二乘法得到的回归直线 至少从残差平方和为最小这一意义上来说是所有可能直线中最佳的拟合线。但该直线是不是Y和X之间关系的一种恰当的描述呢？即这条直线能够在多大程度上拟合样本数据呢？ 如果各观测点紧密地聚集在这条直线的周围，则表明该直线对Y和X之间关系的描述是好的；否则，用直线来描述这两个变量之间的关系就未必恰当，如下图所示：;;拟合优度检验的思想;为什么呢？ 因为拟合优度衡量的是，我们所建立的线性模型利用（或解释）了样本中多少信息。 利用的信息越多越好。 信息如何衡量呢？通常用变差。如样本原始数据中含有的信息（波动性）用相依变量的离差平方和表示。;;;;定义 SST为总体平方和（Total Sum of Squares），反映样本观测值总体离差的大小；SSE为回归平方和（Explained Sum of Squares），反映由模型中解释变量所解释的那部分离差的大小；SSR为残差平方和（Residual Sum of Squares），反映样本观测值与估计值偏离的大小，也是模型中解释变量未解释的那部分离差的大小。 ;;;;既然SSR反映样本观测值与估计值偏离的大小，可否直接用它作为拟合优度检验的统计量？ 不行 统计量必须是相对量 ;;;回顾：相关系数 r 相关系数r是测量两个变量之间线性相关程度的指标，其计算公式为： 相关系数r也是拟合优度的测度，其符号取决于 的符号 我们有： -1 ≤ r ≤ 1 r = 1：完全正相关 r = -1：完全负相关 r = 0：无线性关系;相关系数与确定系数是否有关系呢？ 为此，我们给出给出一种计算确定系数R2的等价方法 ：;;;;R2高低的判断;R2的局限性之一;;R2的局限性之二;;一个推广?;;;前页最后一行的公式给出了 的计算方法。 ;显然，上述定理说明，增加解释变量以后，回归方程的决定系数不会变小。甚至只要持续增添解释变量，则决定系数将收敛到极限1。即 所以， R2有缺陷。对于n个样本，随着K的增加，模型的自由度不断降低，从而使模型大打折扣。;R2的改进;;;变量个数和变量选取准则;;对于AIC、SC信息准则，Eviews软件会给出其计算结果，我们根据其值的大小来确定模型中变量的