有关多元线性回归与多项式回归.docVIP

第九章 多元线性回归与多项式回归 直线回归研究的是一个依变量与一个自变量之间的回归问题， 但是， 在畜禽、 水产科学 领域的许多实际问题中， 影响依变量的自变量往往不止一个， 而是多个， 比如绵羊的产毛量 这一变量同时受到绵羊体重、 胸围、 体长等多个变量的影响， 因此需要进行一个依变量与多 个自变量间的回归分析，即多元回归分析（ multiple regression analysis），而其中最为简单、 常用并且具有基础性质的是多元线性回归分析 （multiple linear regression analysis），许多非 线性回归（ non-linear regression）和多项式回归（ polynomial regression）都可以化为多元 线性回归来解决，因而多元线性回归分析有着广泛的应用。研究多元线性回归分析的思想、 方法和原理与直线回归分析基本相同， 但是其中要涉及到一些新的概念以及进行更细致的分 析，特别是在计算上要比直线回归分析复杂得多， 当自变量较多时， 需要应用电子计算机进 行计算。 第一节多元线性回归分析 多元线性回归分析的基本任务包括： 根据依变量与多个自变量的实际观测值建立依变量 对多个自变量的多元线性回归方程；检验、 分析各个自变量对依自变量的综合线性影响的显 著性；检验、分析各个自变量对依变量的单纯线性影响的显著性，选择仅对依变量有显著线 性影响的自变量， 建立最优多元线性回归方程；评定各个自变量对依变量影响的相对重要性 以及测定最优多元线性回归方程的偏离度等。 一、 多元线性回归方程的建立 （一）多元线性回归的数学模型设依变量 y 与自变量 x1 、 x2 、 , 、 xm 共有 n 组 实际观测数据： 序号 变量 y x1 x2 , xm 1 y1 x11 x21 , xm1 2 y2 x12 x22 , xm 2 ┆ ┆ ┆ ┆ , ┆ n yn x1n x2n , xmn 假定依变量 y 与自变量 x1、x2、? 、 xm间存在线性关系，其数学模型为： y j 0 1x1 2 x2 ... x （9-1） j j m mj j （j=1,2, ? ,n） 式中， x1、x2、? 、xm为可以观测的一般变量（或为可以观测的随机变量） ；y为可以观 2 测的随机变量，随 x1、x2、? 、xm 而变，受试验误差影响； j为相互独立且都服从 ( 0, ) N 2 的随机变量。我们可以根据实际观测值对 0、 1、 2、...、 m 以及方差 作出估计。 （二）建立线性回归方程设y对x1 、 x2 、 , 、 xm 的 m 元线性回归方程为： y? 0 1 1 2 2 b b x b x bm x m 其中的 b0、b1、b2 、, 、 bm为0、 1、 2 ...、 m 的最小二乘估计值。 即 b0 、b1 、b2 、, 、 b应使实际观测值y 与回归估计值y?的偏差平方和最小。 m 令 Q n ( y j y? j ) 2 j 1 n ( y 2 j b0 b x b x b x ) 1 1j 2 2 j m mj j 1 Q为关于 b0 、 b1 、 b2、 , 、 bm 的 m+1 元函数。 根据微分学中多元函数求极值的方法，若使 Q 达到最小，则应有： Q b 0 2 j n ( y j b b x b x b x ) 0 1 1j 2 2 j m mj 0 1 Q b i 2 j n x ij ( y j b0 b x b x b x ) 0 1 1 j 2 2 j m mj 1 （ i =1、2、, 、 m） 经整理得： ( ( nb ( x )b 1 )b 1 1 2 )b ( x 0 1 x y )b x x )b 2 0 2 1 1 ( x 2 )b 2 x x )b 1 2 2 2 ( x )b 2 2 ( ( ( ( y x 1 x 2 y (9-2) ( x m )b 0 ( x m x ) 1 b 1 ( x x m 2 )b 2 ( 2 x m )b m x m y 由方程组（ 9-2）中的第一个方程可得 b0 y b1x1 b2x2 bm x (9-3) m m 即 b 0 y bi x i i 1 1 n n j 1 y n 1 j x , x i n j 1 其中 : y ij 若记 n SSi x x ( ij i ) 2 , n SSy y y ( j 2 ) j 1 j 1 n n S Pik x x x x SP ( )( ) ij i kj k ki SP ( )( ) io x x y y ij i j j 1 j 1 （ i 、 k 1 、 2 、, 、 m； i k） 并将 b0 y b1 x1 b2 x2 bm xm 分