回归分析理论.docVIP

回归分析 ? 第一节 回归分析的意义 一、什么是回归分析 回归分析是根据一个已知变量来预测另一个变量平均值的统计方法。 回归与相关之间既存在着密不可分的关系，也有本质的区别。从关系看，若两变量无相关时（即r=0），则不存在预测的问题；若两变量存在关系，那么相关程度愈高，误差愈小，预测的准确性越高。当变量完全相关时（即r=1），意味着不存在误差，其预测将会完全准确的。从区别看，一是相关表示两个变量双方向的相互关系，回归只表示一个变量随另一个变量变化的单方向关系。二是回归中有因变量和自变量的区分，相关并不表明事物的因果关系，对所有的研究变量平等看待，不作因变量、自变量的区分 二、回归分析的内容 通过回归分析主要解决以下几个问题： （1）确定几个变量之间的数学关系式。 （2）对所确定的数学关系式的可信程度进行各种统计检验，并区分出对某一特定变量影响较为显著的变量和影响不显著的变量。 （3）linear regression），对具有线性关系的两个变量，回归的目的首先是找出因变量（一般记为）关于自变量（一般记为）的定量关系。 如例11-1：10位大一学生平均每周所花的学习时间及他们期末考试成绩。观察数据我们可以发现两者之间呈正相关，不过更直接的方法是绘制散点图，即分别用两列变量做横、纵轴，描点。若它们的分布在一条带状区域，就预示着两列变量之间有相关，如图11-1所示。若没有随机误差的影响，这些点将落在一条直线上，这条直线称回归线（regression line），它是描述因变量Y关于自变量X关系的最合理的直线。 ? ? ? Y 100· · · 90· · ? 80? ? ? 量、自变 ? ? 70? ? ? ? 60? ??? ? 贩 50? ?  60 70 80 90 100 110 X 图11-1 两列变量的关系图 二、一元线性回归方程 因回归表示两个变量单方向的推算关系，所以既可以用去预测，也可以用去预测。因此，回归方程有两个。 以为自变量预测因变量时，方程为 以为自变量预测因变量时，方程为 三、和的求解原则和方法 （一）最小二乘法 建立一个线性回归方程实际上就是确定一条直线，也就是求公式中的两个常数——截距和回归系数，而研究这样一条直线的常用方法是最小二乘法，这种方法需要我们找到这样一条直线，使所有的点到直线的垂直距离的平方和最小，也称最小平方法或最小二乘估计。 就方程而方，对平面上任何一条直线我们都可以用数量()去刻划点(,)到这条直线的远近。其中, 是实际观测值，是估计值。由于，所以当我们用去估计时，要使其估计的误差平方和尽可能小。当最小时，方程所表示的直线就是最优拟合直线。所以求最优拟合方程的问题就可以归结为根据实际观测值求出方程中的两个常数和，使的值最小。 根据数学分析中的极值原理，当最小时，中的常数和可以由下列公式求出 某一点的误差为 ① 回归线之斜率为对边比邻边，即有 ② ③ 将③代入①，有 将误差平方，则有 ④ 各个点误差的平方和为 ⑤ 又 ∵ ⑥ 将⑥代入⑤，有 由分别求,的偏导数，并令它们等于0，则有 根据偏导数特性，有 整理后，则有 将代入，得 所以，回归系数和截距的计算公式分别为 同理，方程中求,的公式为 （二）回归系数的其