统计 多元线性模型.docVIP

第五章 多元线性模型 它包括多元回归分析、多元方差分析及多元协方差分析，它是多元统计分析的基础，应用十分广泛，专著很多。此处仅介绍实用上最重要的基本内容。 §5.1 一元线性回归模型 基本模型： (5-1-1) 式中 y, 是n维观察值的随机向量， X 是n×p 的已知矩阵，常被认为已知的（即不当作随机），而一般认为rank(X)=pn， 是p维未知参数，叫回归系数， u 是非观察值，它代表随机误差。 常用的特例： 1、 回归模型 如果X的第一列全是1,而其它变量为定量的数字，这时上式可化为如下回归模型： (5-1-2) , , , (5-1-3) 上述式子更常用的表达法为： (5-1-4) 其中u是随机项 2、方差分析模型 如(5-1-1) 中X内元素取值非1即0，则该模型就是方差分析，称X为设计矩阵。 例在有k个处理组的单因素方差分析中，记 为第i 个处理中的试验数，令为第j个处理中的第i个试验结果，这时方差分析模型常写成下式： (5-1-5) 这里μ表示n次试验的平均水平, 表示第j种处理的效应, 表示随机误差。用下述记号，这个模型可化为线性模型： , ; 要检验k个处理中有否显著性差异，就是检验 ， 这就是一个指标时上章中多母体的均值相等性检验。 其它还有不少试验设计都可表示为线性模型。 3、协方差分析 当X中的变量既有定量又有定性变量时，常称为协方差分析模型。经典例子是，要求控制小猪的原始体重，考察各种饲料对小猪生长发育的影响。这里原始体重（连续性变量）常称为‘协变量’，而不同饲料则是设计的变量。 在线性模型中，一些基本问题有： 要估计回归系数（）及误差方差（）； 要检验回归系数，如何选择变量x？ 要考察用X(即自变量：, 也常称为回归变量、预测变量、独立变量等等)拟合应变量向量（y）的能力； 要考察线性模型的合理性； 要考察当rank(X)p 时（称为共线性问题），参数的估计问题。 §5.2 多元线性回归模型 当有q个应变量时，而, 类似于(5-1-1)的是： (5-2-1) 其中 式中 Y：n×q 是应变量的n组随机独立抽样的观察值矩阵, X：n×p 是对应于Y的自变量的已知的观察值矩阵, B：p×q 是未知的回归系数矩阵, U：n×q是未知的随机误差矩阵，一般称为残差阵。 与一元的线性模型一样，(5-2-1)也概括了多元回归分析，多元方差分析及多元协方差分析。 一般，在线性模型中多假设有下分布： (5-2-2) 与上假设等价的是 下面分别考察线性模型需考察的问题。 一、B 与∑的极大似然估计 这时(5-1-3)的假定是需要的。这时的似然函数就是Y的分布密度，对它取对数，得 (5-2-3) 定理5.1.1 模型(5-2-1)在公式(5-2-2)的条件下，记和为B 与∑的最大似然估计量，则B与∑的最大似然估计为 (5-2-4) (5-2-5) 这时对数似然函数的极大值为 (5-2-6) 证明： =+- (利用 , 上式为:) =+ =+ （利用了∑的正定性） = 上式等号成立的充要条件是，于是得 =。 这时求最大值问题又类似于(3-3-8)式中对定理 3.3.1的证明，利用那里的结论，即得，从而证明了定理5.1.1。 系 和的极大似然估计为 -, (5-2-7) (5-2-8) 二、B 与∑的最小二乘方估计 在一元线性模型中 , , , β的最小二乘方估计为(记的估计)： ==min(Q) (5-2-9) 而在多个应变量时，与上相似的应是： (5-2-10) 这里Q(B)是q阶方阵，如何定义min Q？有多种方法，张尧庭及方开泰书中证明了四种方法的等价性，所以此处使用最常用的tr(Q)法：求B使下式为最小： 记 , 则 =-+ ==+ （利用了∑的正定性） =。 上式对一切B成立，于是取=，此时 = = (5-2-11) 定理5.1.2 模型(5-2-1)