应用多元统计4.pptx

第四章 回归分析目录§4.1 经典多元线性回归§4.2 回归变量的选择与逐步回归§4.3 多因变量的多元线性回归§4.4 多因变量的逐步回归§4.5 双重筛选逐步回归第四章 回归分析 回归分析是处理多个变量间相关关系的一种数学方法. 变量间的关系有两种类型:确定性的函数关系和相关关系.回归分析方法是处理变量间相关关系的有力工具. 回归分析用于确定一个或几个连续变量(称为响应变量、因变量或指标)与另一些连续变量(称为自变量或因素)间的相互依赖关系.第四章 回归分析 如果只要考察某一个因变量与其余多个变量的相互依赖关系.我们称为多元回归问题. 如果要同时考察p个因变量与m个自变量的相互依赖关系,我们称为多因变量的多元回归问题（或简称为多对多回归）.第四章 回归分析具体地说,我们研究以下几方面问题： ① 建立因变量Y(或Y1, …,Yp)与x1,x2,…,xm的经验公式(回归方程)； ② 对经验公式的可信度进行检验； ③ 判断每个自变量xi(i=1,…,m)对Y (或Y1, …,Yp)的影响是否显著? ④ 利用经验公式(回归关系式)进行预报和控制,并用于指导生产； ⑤ 诊断经验公式是否适合这组数据。第四章 回归分析 在一元统计分析中讨论的多元线性回归是只考虑一个因变量的回归问题. 多元统计分析中讨论的回归问题是指有多个因变量的回归问题,它自然把一元统计中的回归作为特例.因多元线性回归问题在实际应用中更为广泛,它涉及的统计推断结论能够推广到多因变量的多元线性回归的问题中. 本章首先不加证明地介绍经典多元线性回归、逐步回归的一些结论，然后简单介绍多因变量的多元线性回归和双重筛选逐步回归.第四章 §4.1 经典多元线性回归 多元线性回归模型 多元回归分析是研究因变量Y与m个自变量x1, x2, . . , xm的相关关系.而且总是假设因变量Y是随机变量,而x1, x2,. . , xm 为一般变量. 假定因变量Y与x1, x2,. . , xm 线性相关.收集到的n组数据(yt, xt1, xt2,. . , xtm )(t=1,2,…,n)满足以下回归模型：(4.1.1)第四章 §4.1 经典多元线性回归 多元线性回归模型 记 第四章 §4.1 经典多元线性回归 多元线性回归模型 则(4.1.1)的矩阵形式为Y=Cβ+ε, E(ε)=0,D(ε)=σ2In, 或Y=Cβ+ε, ε～Nn (0, σ2In ), (4.1.2)(4.1.3)并称模型(4.1.2)或(4.1.3)为经典多元线性回归模型.其中Y是可观测的随机向量,ε是不可观测的随机向量,C是已知矩阵,β,σ2是未知参数.并设n＞m,且rk(C)=m+1. 第四章 §4.1 经典多元线性回归 多元线性回归模型 在经典回归分析中,我们讨论多元线性回归模型中未知的参数向量β=(β0,β1,…,βm)′和σ2的估计和检验问题. 在近代回归分析中讨论变量筛选、估计的改进及对模型中的一些假定进行诊断.第四章 §4.1 经典多元线性回归 参数向量β的最小二乘估计 定义4.1.1 在模型(4.1.2)中，参数β的最小二乘估计量b=(b0,b1,…,bm)′是使误差平方和Q(b)达最小.即 其中 第四章 §4.1 经典多元线性回归 参数向量β的最小二乘估计 则记第四章 §4.1 经典多元线性回归参数向量β的最小二乘估计 定理4.1.1 设rk(C)=m+1≤n,则 b=(C′C)-1C′Y = BY 是β的最小二乘估计(其中B= (C′C)-1C′).? 参数向量β的最小二乘估计β=b正好是m+1阶的线性方程组C′Cβ=C′Y的解.常称以上方程组为正规方程.预测向量为 Y=C b=HY,其中H= C(C′C)-1C′称为“帽子”矩阵。 ^^第四章 §4.1 经典多元线性回归 参数向量β的最小二乘估计的统计性质 β的最小二乘估计量b有以下性质： (1) b是β的极小方差线性无偏估计. (2) b～Nm+1(β,σ2(CC)-1).因b=BY,Y~ Nn(Cβ,σ2In),故b服从正态分布,且 E(b)=BCβ=(CC)-1CCβ=β, D(b)=Bσ2InB’= σ2(CC)–1 . (3) 在ε～Nn(0, σ2 In)的假定下,b还是一切无偏估计中方差最小的估计. 第四章 §4.1 经典多元线性回归 σ2的估计 最小二乘法没有给出σ2的估计.利用最大似然原则可得β的最大似然估计量仍为b,同时给出了σ2 的最大似然估计为 ^但因σ2不是σ2 的无偏估计量.通常取s 2作为σ2的估计:第四章 §4.1 经典多元线性回归 σ2的估计(定理4.1.2的证明)第四章 §4.1 经典多元线性回归 回归方程