第四章--方差分量线性回归模型.docxVIP

精品文档 第四章 方差分量线性回归模型 本章考虑的线性模型不仅有固定效应、随机误差，而且有随机效应。我们先从随机效应 角度理解回归概念， 导出方差分量模型， 然后研究模型三种主要解法。 最后本章介绍关于方差 分量模型的两个前沿研究成果，是作者近期在《应用数学学报》与国际数学杂志 《 Communications in Statistics 》上发表的。 第一节 随机效应与方差分量模型 一、随机效应回归模型 前面所介绍的回归模型不仅都是线性的，而且自变量看作是固定效应。我们从资料对 n 出发建立回归模型，过去一直是把 1 p {Yi , X 1i , X pi } 1 Y 看作随机的， X ，?，X 看作非随机的。 但是实际上， 自变量也经常是随机的， 而并不是我们可以事先设计好的设计矩阵。 我们把自变 量也是随机变量的回归模型称为随机效应回归模型。 究竟一个回归模型的自变量是随机的还是非随机的， 要视具体情况而定。 比如一般情况下 消费函数可写为 C C 0 b( X T ) （ 4.1.1 ） 这里 X 是居民收入， T 是税收， C0 是生存基本消费， b 是待估系数。加上随机扰动项，就是一 元线性回归模型 C C 0 b( X T ) （ 4.1.2 ） 那么自变量到底是固定效应还是随机效应 ?那要看你采样情况。如果你是按一定收入的家庭去 调查他的消费， 那是取设计矩阵， 固定效应。 如果你是随机抽取一些家庭， 不管他收入如何都 登记他的收入与消费，那就是随机效应。 对于随机效应的回归模型， 我们可以从条件期望的角度推导出与最小二乘法则等价的回归 函数。 我们希望通过 X 预测 ，也就是要寻找一个函数 Y M ( X ) M ( X 1 , , X p ) ，当 X的观 Y 察值为 x 时，这个预测的误差平均起来应达到最小，即 E[Y M (X)]2 min E[Y L( X )] 2 （ 4.1.3 ） L 。 1欢迎下载 精品文档 这里 min 是对一切 X 的可测函数 L(X) 取极小。由于当 M(X) E(Y |X) （ 4.1.4 ） 时，容易证明 E[Y M (X)][ M(X) L(X )] 0 （ 4.1.5 ） 故当 M (X) E(Y | X)时， E[Y L(X)]2 E[Y M (X)]2 E[M (X ) L(X )] 2 （ 4.1.6 ） 要使上式左边极小，只有取 L(X ) M(X) E(Y | X)。 这个结果告诉我们，预测函数取作条件期望 E( Y| X) 时，可使预测误差最小。我们还可以 证明，此时 ( )= (|)与 Y 具有最大相关，即 M X E Y X (Y, M ( X )) max (Y, L( X ))  （ 4.1.7 ） L 这里ρ表示相关系数。 这是因为当 M(X) E(Y | X ) 时 ， 易 证 Cov (Y, L (X )) Cov (M ( X ), L( X )) , 同 时 Cov (Y, M ( X )) Cov ( M ( X ), M ( X )) , 于是 2 Cov 2 (Y, L ( X )) Cov 2 ( M , L( X )) (Y,L(X )) D(Y)D[L(X )] D(Y)D[L(X )] Cov 2 (M ( X ), L( X )) D[M (X)] D[M (X)] D[M (X )]D[L(X )] D(Y) D[M (X)] 2(M (X),L(X)) 2(Y,M (X )) 2 (Y,M (X )) 等号当且仅当 | (M (X),L(X)) | 1 （ 4.1.8 ） 时成立，此时 L( X) 是 M( X) 的线性函数。 (4.1.3) 与(4.1.7) 表达了 M ( X ) E(Y | X ) 的极好性质，我们称 Y M(X) E(Y| X) （ 4.1.9 ） 为 Y 关于 X的回归曲线。 上面的 ( ) 可取一切函数。如果限定 ( ) 是 X 的线性函数，即要限定 L X L X 。 2欢迎下载 精品文档 E[| Y ( 0 1 X 1 m X m ) |2 ] min （4.1.10 ） L 这里 min 是对 X 的一切线性函数取极小，则称满足上式的线性函数为 Y 关于 X 的回归直线。 L 我们可以求出 0 , 1, , m 的解。记 ( 1 , m ) ，则 L( 0 , ) E[| Y ( 0 1 X1 m X m ) |2 ] b2 R XX 2 RXY D(Y ) （4.1.11 ） 这里 b E(Y) ( 0 1EX 1 m EX m ) RXX E[(X EX)(X EX)] DX 1 Cov ( X