§4.4 多元线性回归.doc.docVIP

§4.4 多元线性回归 I 多元线性回归模型 其中，均为未知参数。称，为此模型的回归系数。 II 参数的LS估计 设试验数据为，即样本 且满足如下数据模型： 写成向量形式如下： 设 ； ； ； ； 则有向量形式的数据模型： 这里，称X为设计矩阵或结构矩阵；要求满足条件：矩阵X是列满秩，即 。 注：是列满秩的要求将保证：阶的矩阵是可逆的。为了保证列满秩，必须有样本容量。但在后面要考虑残余误差 ， 此量将具有自由度。故还应有要求： 。 问题： 令 ， 则要求，使得 。 解此无条件极值问题：由可得一个关于的方程： ； 称为正规方程。此方程要有唯一解存在的充要条件是：矩阵可逆。 假定可逆，则由正规方程立即可得： 。 这就是的最小二乘估计，即LS估计。相应的回归方程为： 。 注：一类特例 设，其中， ； ， ， 则在多元线性回归模型中，回归系数的最小二乘估计为 。 假如，设计矩阵X 具有下列特性: , , 试问：回归系数的最小二乘估计具有什么特点? 解 按设计矩阵X 所具有的特性， ， 其中， ， 其中，； 于是，最小二乘估计具有表现： 。 由此可见，这个多元线性回归问题可以转化成k个一元线性回归问题；在这k个一元线性回归问题中，都有 。 注：考虑数据模型的平移变换，问题可以简化，见讲稿的最后对本章习题13的解释。 III LS估计的性质 P.1 证 由的表示可知： 故是独立的的线性组合。于是,是一个正态向量，且 ； 。 注： 此性质表明：是的一个无偏估计。若，就是一元情形的性质1。 定义： 令，则称H为投影矩阵。此矩阵有下列特点： (i) （H为投影矩阵的含义）； (ii) （幂等性）； (iii) （对称性）； (iv) ；；（不变性） (v) 亦为对称的幂等的矩阵。 P.2 令 ， 则 。 证 显然，是正态的，且 ； 。 注： 称 为回归误差。 P.3 ，即与独立，即与独立。 证 注意：；； 于是， 。 P.4 设 ， 则 。 证 ； ； 故 。 注：回归误差与回归系数无关。事实上， ； 这个特性在后面将要用到。 P.5(误差分解式) ， 其中， ； ； 。 证 ； ； 注意，按最小二乘估计，满足如下方程： ； ； ； 故 。从而， 。 注1： 由可知：。由此，可得 。 其中， ；；。 注2：两种误差有如下重要的表现： ； 。 P.6 与独立，即与独立。 证 这是性质3的直接结果。 注：这一条性质应与性质3合并，因为性质1和2已证明：与都是正态的。 P.7 (1) 与 独立； (2) ； (3) 若， 则 。 证 (1) 由可知： 即 ； 由P.5后之注可知：为的线性组合；于是， 是的函数；故由性质3可知：与独立。 (2) 有如下表示： ； 下面证明：H的特征值为0或1，且1是k+1重的。 事实上，因H是对称的，且 ，故存在正交矩阵Q：，使得，其中， ，，； 由H的幂等性可知：，即H与正交。于是， ； ，即； 故 。 注意：， ； 故可以写成个独立同正态分布的随机变量之和，由此即知： 。 注：要特别强调一点：的这个性质对任意的都成立。 (3) 按假设及抽样分布定理，有 ； 按性质5，有 ；按本性质中的结论(1)和(2), 即得 。 注1：在此性质中，先证结论3是不可取的。当k=1时，由于的结构简单，可以先证结论3。 注2：如果采用假设，则所有的结论证明起来都比较简单。 注3：教材中未给出证明，也未明确的指出有关参考文献。 IV多元线性回归模型的显著性检验 考虑如下线性回归数学模型： 试验数据的数学模型： 向量形式为：