统计多元线性模型精品资料.docxVIP

第五章 多元线性模型 它包括多元回归分析、 多元方差分析及多元协方差分析， 它是多元统计分析的基础， 应用十分广泛，专著很多。此处仅介绍实用上最重要的基本内容。 § 5.1 一元线性回归模型 基本模型： y X u (5-1-1) (u) 0, Var (u) 2 I n 式中 y, 是 n 维观察值的随机向量， × p 的已知矩阵，常被认为已知的（即不当作随机） ，而一般认为 rank(X)=pn ， X 是 n 是 p 维未知参数，叫回归系数， 是非观察值，它代表随机误差。常用的 特例 ： 1、 回归模型 如果 X 的第一列全是 1,而其它变量为定量的数字，这时上式可化为如下回归模型： yi0 1 xi1 p 1xi , p 1 ui , i 1, , n (5-1-2) y1 0 u1 1 x11 x1, p 1 y , , u , X (5-1-3) yn p 1 un 1 xn1 xn, p 1 上述式子更常用的表达法为： y 0 1x1 p 1 xp 1 u, (5-1-4) 其中 u 是随机项 (u) 0, Var (u) 2 2、方差分析模型 如 (5-1-1)  中 X 内元素取值非  1 即  0，则该模型就是方差分析，称  X 为设计矩阵。 例在有  k 个处理组的单因素方差分析中，记  ni  为第  i  个处理中的试验数，令 n n1  nk , yij  为第  j 个处理中的第  i 个试验结果，这时方差分析模型常写成下式： yij  j  uij , i  1,  ,n j , j  1,  , k  (5-1-5) 这里 μ 表示 n 次试验的平均水平 , j 表示第 j 种处理的效应 , uij 表示随机误差。用下述记 号，这个模型可化为线性模型： y11 1 1 0 0 y1n1 1 1 0 0 y21 1 0 1 0 y , X 0 1 , y2n2 1 0 0 0 0 yk 1 1 0 0 1 yknk 1 0 0 1 要检验 k 个处理中有否显著性差异，就是检验  u11 un1 1 u12 1 , u ; un2 2 k u1k unk k H0: 1 k ， H1 : 至少有一项 i j 这就是一个指标时上章中多母体的均值相等性检验。 其它还有不少试验设计都可表示为线性模型。 3、协方差分析 当 X 中的变量既有定量又有定性变量时， 常称为协方差分析模型。 经典例子是， 要求控 制小猪的原始体重， 考察各种饲料对小猪生长发育的影响。 这里原始体重 （连续性变量） 常称为‘协变量’ ，而不同饲料则是设计的变量。 在线性模型中，一些 基本问题 有： (1) 要估计回归系数（）及误差方差（ 2 ）； 要检验回归系数，如何选择变量x？ 要考察用 X(即自变量： x1 , , xp 1 , 也常称为回归变量、预测变量、独立变量等等 )拟合应变量向量（ y）的能力； 要考察线性模型的合理性； 要考察当 rank(X)p 时（称为共线性问题） ，参数的估计问题。 § 5.2 多元线性回归模型 当有 q 个应变量 y ( y1, , yq ) 时，而 x (x0 , x1 , , xp 1 ), x0 1 , 类似于 (5-1-1) 的 是： Y XB U (5-2-1) 其中 ( ) 0, ( ( )) , 0 U Var vec U I n 式中 Y：n×q  是应变量的  n 组随机独立抽样的观察值矩阵  , X：n×p  是对应于  Y 的自变量的已知的观察值矩阵  , B：p×q  是未知的回归系数矩阵  , U ：n×q 是未知的随机误差矩阵，一般称为残差阵。 与一元的线性模型一样， (5-2-1) 也概括了多元回归分析，多元方差分析及多元协方差分析。 一般，在线性模型中多假设有下分布： U ~ Nn q (0, I n), 0 (5-2-2) 与上假设等价的是 Y ~ Nn q ( XB, I n ) 下面分别考察线性模型需考察的问题。 一、 B 与∑的极大似然估计 这时 (5-1-3) 的假定是需要的。这时的似然函数就是 Y 的分布密度，对它取对数，得 L (B, ) 1 n ln | 2 | 1 tr [( Y XB ) 1 (Y XB)] (5-2-3) 2 2 定理 5.1.1 模型 ?* ?* (5-2-1) 在公式 (5-2-2) 的条件下， 记 B 和 为 B 与∑的最大似然估 计量，则 B 与∑的最大似然估计为 ?* (X X) 1 X Y (5-2-4) B ?* 1 1 X (5-2-5) YPY, P I