第十二章线性回归概要.ppt

第十二章 线性回归 李金德 第一节 线性回归模型的建立方法 一、回归分析与相关分析的关系 1、用一定模型来表述变量相关关系的方法称为回归分析。 2、从广义上说，相关分析包括回归分析。但二者有区别：回归分析是以数学方式表示变量间的关系，而相关分析则是检验或度量这些关系的密切程度，两者相辅相成。 二、回归分析的内容 1、建立回归方程 2、检验方程的有效性 3、利用方程进行预测 三、回归模型与回归系数 1.用来表达变量之间规律的数学模型称为回归模型。 2.回归模型的分类 （1）线性回归模型、非线性回归模型 （2）简单回归模型、多重回归模型 （3）一元线性回归是指只有一个自变量的线性回归（linear regression），对具有线性关系的两个变量，回归的目的首先是找出因变量（一般记为Y）关于自变量（一般记为X）的定量关系。 3、一元线性回归方程 回归方程有两个： 以为自变量预测因变量时，方程为： 以为自变量预测因变量时，方程为 ： 四、一元线性回归模型建立方法 例12-1：下表中10对数据是为确定某心理量与物理量之间的关系而做的实验结果（表中物理量是取对数后的值）。假设两者呈线性关系，试以这10对数据结果建立该心理量与物理量的回归方程。 解：将N对数据按奇偶顺序分为两组，然后分别代入设定的回归方程求和，计算b和a 第一组（奇数组） 1=a+0·b 3=a+1·b 4=a+4·b 6=a+6·b 8=a+5·b 22=5a+16·b… ⑴ ⑴与⑵联立，成二元一次方程组： 22=5a+16·b… ⑴ 25=5a+18·b…⑵ 解得a=-0.4,b=1.5,代入设定的方程 答：该心理量与物理量的回归方程为 ㈡最小二乘法 1、定义：所谓最小二乘法，就是如果散点图中每一点沿Y轴方向到直线的距离的平方和最小，就是使误差的平方和最小，则在所有直线中这条直线的代表性是最好的，它的表达式就是所要求的回归方程。 2.最小二乘法的原理 设方程 每一点到直线沿Y轴方向的距离平方和为： 求回归方程就是求当该公式达到最小时a和b的值，而要是公式为最小，只需分别对a和b求偏导数，并令其等于零。即 经整理，并省略X与Y字母下面的下标，上面两式分别写成： 两边同除以N，得 例12-2：根据例12-1中的数据，使用最小二乘法求回归方程。 代入公式 得b=0.81 再代入公式 得a=1.95 则，回归方程为： 五、回归系数与相关系数的关系 六、线性回归的基本假设 1、线性关系假设 2、正态性假设 3、独立性假设 4、误差等分散性假设 第二节 回归模型的检验与估计 一、回归模型的有效性检验 1、回归模型的有效性检验，就是对求得的回归方程进行显著性检验，看是否真实地反映了变量间的线性关系。 2、方法 线性回归模型的有效性检验通常使用方差分析的思想和方法进行。根据方差分析的原理，在回归的方差分析中总变异被分解为自变量的变异和误差的变异。其分析过程也是从总平方和的分解到自由度的分解，再到均方，最后是进行自变量对误差影响程度进行比较。 2）方差分析 ① 求平方和 ② 求均方 ③ 求F值 3）比较与决策 当分子自由度为1，分母自由度为8时， 。因为， F5.32，p0.05，效果显著。所以接受研究假设，拒绝虚无假设，说明自变量X与因变量Y之间存在显著的线性关系。 4）列方差分析表 *表示在0.05水平上差异具有统计学意义 二、回归系数的显著性检验 (二)回归系数的标准误 在方程 中，当回归线上与所有自变量（X）相对应的各个因变量的残值（即 ）都呈正态分布，且残值的方差齐性时，可以直接用值（ ）的估计误差及自变量X的离差平方和表示回归系数的标准误，即有 例12-4：如例11-1的方程采用回归系数进行显著性检验。 1)建立假设 H0: H1: 2）计算统计量 ① 求样本回归系数的标准误 ② 计算t值 4）比较与决策 当时 ， ， t=2.57 2.31，p0.05，关系显著。拒绝虚无假设，接受研究假设，表明两个变量之间存在显著的线性关系。 三、测定系数 在回归方程