书籍《统计分析方法及应用》PPT().pptVIP

§6.4 可线性化的非线性回归 例6.4.1 设有自变量x和因变量y，回归模型有以下对数曲线形式： y=β0+β1lnx+ε 若取新自变量z=lnx，则可将上述模型转化为如下的一元线性回归模型： y=β0+β1z+ε 并将原模型下的样本观测数据(x1,y1),(x2,y2),?,(xn,yn)转写成新模型下的观测数据(z1,y1),(z2,y2),?,(zn,yn)，其中zi=lnxi，i=1,2,?,n。 例6.4.2 设有自变量x和因变量y，具有如下的多项式回归模型： y=β0+β1x+β2x2+?+βpxp+ε 如取z1=x,z2=x2,?,zp=xp，就可将上述模型转化为p元线性回归模型： y=β0+β1z1+β2z2+?+βpzp+ε 原模型下的样本观测数据(x1,y1),(x2,y2),?,(xn,yn)转为新模型下的数据(zi1,zi2,?,zip,yi)，其中 。 例6.4.3 设有自变量x1,x2和因变量y，具有如下的二阶多项式回归模型： 其中x1x2是交互作用项，令 则原模型转化为 y=β0+β1z1+β2z2+β3z3+β4z4+β5z5+ε 这是一个五元线性回归模型。 例6.4.4 将以下忽略了误差项的非线性回归模型转化为线性回归模型： (1) ； (2) ； (3) 。 解 (1)令 ，则有 ； (2) ，令 ，则有 (3) ，令 ，则有 。 例6.1.6 在例6.1.1中，对于x0=4000， E(y0)的点估计和y0的点预测均为 所以E(y0)的0.95置信区间为 即对每月家庭收入为4000元的家庭，可以以95%的把握估计其平均每月家庭消费支出在2415.41~2868.25元之间。 于是 故y0的0.95预测区间为 即对每月家庭收入为4000元的家庭，以95%的把握预测其每月家庭消费支出在1818.74~3464.92元之间。 §6.2 多元线性回归 一、多元线性回归模型 二、最小二乘估计 三、复判定系数 四、显著性检验 五、利用估计回归函数进行估计和预测 一、多元线性回归模型 p元线性回归模型： yi=β0+β1xi1+β2xi2+?+βpxip+εi 其中， yi：第i次试验的因变量观测值，是随机变量； xi1,xi2,?,xip：第i次试验的p个自变量的值，是已知常数； β0,β1,β2,?,βp：参数； εi：随机误差项，通常假定E(εi)=0,V(εi)=σ2，且ε1,ε2,?,εn两两互不相关； i=1,2,?,n。 在(6.2.1)式两边取数学期望得 E(yi)=β0+β1xi1+β2xi2+?+βpxip 称 E(y)=β0+β1x1+β2x2+?+βpxp 为模型(6.2.1)的(线性)回归函数，参数β1,β2,?,βp称为偏回归系数。 当模型只包含两个自变量时，回归函数为 E(y)=β0+β1x1+β2x2 它是三维空间上的一个平面，称为回归平面，见图6.2.1。 β1表示当x2保持不变时x1每增加一个单位因变量y的期望(或平均)增量；类似地，β2表示当x1保持不变时x2每增加一个单位y的期望增量；β0是回归平面在y轴上的截距。 当x1与x2的相关程度较高时，很难对回归系数β1和β2的意义作出解释。 图6.2.1 含有两个自变量的回归函数图形 用矩阵表示线性回归模型 令 则有 y=Xβ+ε 其中， y：因变量观测值向量； X：常数矩阵，一般要求X是列满秩的； β：参数向量； ε：随机误差项向量，E(ε)=0,V(ε)=σ2I。 在上述模型中，y的数学期望和协方差矩阵分别为 E(y)=E(Xβ+ε)=Xβ+E(ε)=Xβ 和 V(y)=V(Xβ+ε)=V(ε)=σ2I 二、最小二乘估计 根据最小二乘法原理，β=(β0,β1,?,βp)′的最小二乘估计b=(b0,b1,?,bp)′应满足要求 β的最小二乘估计为 b=(X′X)?1X′y b的数学期望为 E(b)=(X′X)?1X′E(y)=(X′X)?1X′Xβ=β 即b是β的无偏估计；b的协方差矩阵为 V(b)=(X′X)?1X′V(y)X(X′X)?1 =(X′X)?1X′(σ2I)X(X′X)?1=σ2(X′X)?1 我们称 为估计回归函数，称 为第i个残差。可见，(6.2.8)式为残差平方和。 三、复判定系数 总平方和： 自由度为n?1 回归平方和：