回归分析精品.pptVIP

* 在现实生活中,变量与变量之间经常存在一定的关系,一般来说,可分为两大类,一类是确定性的关系,这种关系通常用函数来表示;另一类是非确定性关系,变量之间的这种非确定性关系通常称为相关关系。 回归分析就是数理统计中研究相关关系的一种数学方法,它就是通过大量的试验或观测,发现变量之间关系的统计规律,它在工农业生产和科学研究各个领域中均有广泛应用。回归分析一般分为线性回归分析与非线性回归分析。 本次课程着重介绍线性回归分析,它是两类回归分析中较为简单的一类,也是应用得较多的一类。 四、线性回归模型 　 为了研究方便,我们考虑一个变量受其它变量影响时,把这变量称为因变量,记为Y,其它变量称为自变量,记为X,这时相关关系可记作 Y=f(x)+ε 其中f(x)为当X=x时,因变量Y的均值,即 f(x)=E(Y|X=x) 称f(x)为Y对X的回归函数,ε为Y与f(x)的偏差,它是一个随机变量,假定E(ε)=0。 回归函数可以是一元函数,也可以是多元函数,即 Y=f(x1，x2，…，xm)+ε 其中,f(x1,x2,…,xm)= E(Y|X1=x1,X2=x2,…Xm=xm)为m元回归函数,统称为多元回归函数。 m =1, 称为一元线性回归; m1,称为是多元线性回归; 若f(x1,x2,…,xm)是非线性函数,则称为非线性回归。 问题 (水泥凝固时放出热量问题) 某种水泥在凝固时放出的热量y(卡/克)与水泥中下列4种化学成份有关。 x1:3CaO·Al2O3的成份(%) x2:3CaO·SiO2的成份(%) x3:4CaO·Al2O3·Fe3O3的成份(%) x4:2CaO·SiO2的成份(%) 现记录了13组数据,列在表1中,根据表中的数据,试研究y与x1,x2,x3,x4四种成份的关系。 表1 编 号 x1(%) x2(%) x3(%) x4(%) y (卡/克) 1 7 26 6 60 78.5 2 1 29 15 52 74.3 3 11 56 8 20 104.3 4 11 31 8 47 87.6 5 7 52 6 33 95.9 6 11 55 9 22 109.2 7 3 71 17 6 102.7 8 1 31 22 44 72.5 9 2 54 18 22 93.1 10 21 47 4 26 115.9 11 1 40 23 34 83.8 12 11 66 9 12 113.3 13 10 68 8 12 109.4 一般地，多元线性回归模型可表示为 建立线性回归模型 其中, 是未知参数,为了估计这些参数,将表1的值代入模型得 其中,x1,x2,…,xm是自变量,b0 , b1,b2,…,bm为回归系数且未知,统称为回归参数,一旦回归参数确定,则多元线性回归模型就完全确定,一般假定随机误差 为了得到回归参数的估计值,就要对变量进行观测,假设对变量的n（nm）次独立观测数据为 （yi，xi1，xi2，…，xim）,i=1～n, 则这些观测数据应满足上式,即有 则多元线性回归的数学模型式可以写成矩阵形式 若记 为了获得参数β的估计,我们采用最小二乘法,即选择β,使 达到最小。 将Q(β)对β求导数并令其为零，得 回归系数的最小二乘估计 模型参数估计 此方程称为正规方程,其中 X 为n×(m+1) 阶矩阵,一般假定rank(X)=m+1,由线性代数理论可知,L=XTX为满秩矩阵,它的秩rank(L)=m+1,则正规方程有唯一解,记作 即 记 ,则 在实际工作中，常称 为经验线性回归方程。 多元线性回归模型的检验与预测 从上面的参数估计过程可以看出,对于一批观察数据 不论它们是否具有线性关系,总可以利用最小二乘法 建立起多元线性回归方程 但是Y与x1，x2，…，xm