多元线性回归课件.pptxVIP

第二章;§2.1多元线性回归模型;为了方便起见，多元回归分析常釆用矩阵形式来表示，并通过 矩阵的性质来研究参数及其他性质。记：;则模型可表示为;§ 2.2参数的最小二乘估计 和一元线性回归一样，仍釆用最小二乘法去估折参数 ”。，们，…,角。令： n z = l I =(—X P)\Y - X P) 则各少的浇估计0，满足 。(农)=min Q() = min(Y - X少，(Y - X/?);根据微积分原理,;为了方便，我们定义： ?刀=X X为正规方程组的系数矩阵，为3 + I）阶方阵； ? B = X 丫为正规方程的常数项矩阵，为” + 1）维向量矩阵; ? c = 为相关矩阵，为3 + 1）阶方阵。;例2.1用矩阵形式写出如下一元线性回归模型: [yt =久+ 产’ +勺 2 i = 1,2,…,n ￡i ?i.i.d ?TV （0,（7 ~） 并用矩阵形式求出〃。，功的最小二乘估计。;解：记：;A = XX;例2.2 下面的模型称为t元中心化线性回归模型： [儿=+ （% — *）+ ???厂，\一“ -元）+ %?，= 1,2,-- ,n [ 各 ￡ ,iid ?7V （0, b ） 写出模型相应的矩阵X，丫，刀M, C ,并求出模型参数的最小二;记:;n;(;即:;由此可得K，...,0,;参数估计的性质;下面几个性质除性质6之外，对随机误差假定 2 E ￡ =。, Vars = a I 。 n 性质一 0是的线性无偏估计，且VarP =a2(XX)~ 证明：因P = (XXYXY是V的线性函数，故为线性估计。 又：Ep =(xxy xey =(xxyA xxp = /?,即：p 为”的 无偏估计。 Varp = {XXyX XDYX (XX) = a2(XX)~l;性质二 Ee = 0 , Vare = a2(\ - H ) 证明：由于e = (I - H)Y，故有： Ee = (I _ H )EY = (I _ H }X/3 = 0;性质三 Cov (°,0) = 0 证明： Cov (e,0) = Cov ((1 - H )P,(X 欠)X Y);k 0是k x k的方阵，那么，矩阵迹片［，］=￡ a..;性质四 E( S S B= ( R 4 b-)2 证明：利用矩阵迹的性质及U — H)X = 0可知;=Zr （1 一 H）DY;性质五(高斯■马尔可夫定理);(3)为证二是的一切线性无偏估计中的方差最小者，II]■设〃 K为;下面一个性质在假定Y?N 宀〃)条件下讨论 性质六 当Y?N AX宀.),贝U (1) 0 ?N(”,宀乂，)) (2) SSE与0独立； (3) SSE/(t2 *2(— — I);证明：(1)与(2)在前而已说明。下而证明性质(3)。 由 于 莎=Y\\- H)Y = (Y - - H)(Y - XJ3;令：Z = C（Y - X、）,则有:;§ 2.3回归方程的显著性检验;为了找出上述假设检验的统计量，可采用平方和分解的方法， n n n SST = z（儿-yV=Y m 一 丸）2 + Z （丸一见2 = SSE + SSR /=! f=l /=1 利一元线性回归一样，SST称为总的平方和；SSE称为残差平方和；SSR 称回归平方和。;ccr 由上一节性质6的证明可知，r ?尸(〃一 -1)。当々。为 T ■ 真时，多元线性模型可改写为： 2 ￡. i.i.d ?N(O.a ) 即儿?旳们，/)为i.i.d的正态随机变量，所以，由数理统计 屮的知识可知：r?*2(〃-1),所以，当h。为真时， b 1III II (1(jI TI CCD 土?/2(〃，并且‘SR与SSE独立。由上述讨论构造检验统 (J? 计量： SSR/t F =； SSE/(n - / - 1);当％为真时,F?，〃一，一1）。;当H。为真时，们=0 j = 1,2,…，1 ,即ESSR = ta2 a而对一般情;SSR = E j 7 = 1 SSE = SST -SSR;§2.4回归系数的显著性检验 当回归方程的显著性检验得出拒绝H。时，我们并不能说明所有的 七均与y有线性相关关系，而只仅仅说明至少有一个孔与丿有线性相 关关系，而对有些y 0时，说明相应的的变量七与了的变化无关， 即不会引起玲的线性变化，为了使方程简单明了，我们应把七从方程 中去掉。所