第七讲多元线性回归.pptVIP

第七讲 多元线性回归分析 一、线性回归分析的基本概念与步骤 研究者面对庞大的原始数据，需要以多种方式提炼信息。数据信息的提取方法包括频数表、均值与方差分析等。回归方法也是浓缩数据的一种统计技术。 回归分析是将观察值分成两部分建立模型： Observed = Structural + Stochastic 其中，观察值（observed）代表因变量的实际值，结构部分(Structural)代表因变量和自变量之间的关系，随机部分(Stochastic)是不能被结构部分所解释的随机成分。 随机部分又可以划分为三部分内容：1）省略的结构因子；2）测量误差；3）“噪声”。 在社会科学研究中，由于我们不可能掌握所有影响因变量的因素，省略一些结构因子是不可避免的。测量误差是指数据在调查、记录或测量中的不精确。噪声反映了抽样随机误差。 如何解释回归模型呢？有二种不同的概念体系。 　（1）Observed =True Mechanism + Disturbance 　 (2)　Observed = Summary + Residual 　　第一种解释与传统计量经济学的观点一致，研究者的目标就是去找一个能够更好拟合数据的模型，据以揭示数据的关系。 　　第二种解释与当代计量经济学和统计学的观点一致，即如果两个模型同样能够反映被观察的事实，我们应该选择较简单的模型。该原则强调模型要能够总结出数据的本质特征。第二种解释不同于第一种解释的核心是该解释更加关注模型是否揭示事实或反映理论。 线性回归分析的基本步骤： （1）从理论出发确定回归方程中的自变量与因变量。 （2）从样本数据出发确定自变量和因变量之间的数学关系式，即建立回归方程。 （3）对回归方程进行各种统计检验。 （4）利用回归方程进行解释或预测现象。 在进行回归分析时，这四个基本步骤的第一步是由研究者自己确定的，第二步和第三步可由统计软件自动完成，第四步需要研究者结合理论进行解释与分析。 二、 线性回归模型的构造 回归模型由三类变量组成：因变量，一组自变量，随机误差。假定自变量与因变量之间关系特征是线性的，需要估计未知参数和系数。 线性模型用符号表示为： 三、线性回归模型的基本假定 （1）线性性：yi与xi通过参数?i建立线性关系。 （2）独立性：变量xi之间是相互独立的。 （3）误差项的条件均值为0，即 　　　　　　该假定可以进一步引申为： （4）同方差性：对于任意给定的xi，误差项有相同的方差： （5）误差的独立性：误差项与自变量不相关；误差项之间不相关，即对于两个观察值?i和?j，其误差项的协方差为0。 （6）正态性：误差项被看作是许多不被观察因素的联合效果，因此可以认为误差项是在x条件下的正态分布。 四、线性回归模型的估计 最小二乘法 　　回归分析的主要任务就是要建立能够近似反映真实总体特征的样本回归函数。 　　在根据样本资料确定回归方程时，总是希望Y 的估计值尽可能地接近实际观察值，即残差项的总量越小越好。 　　由于残差项有正有负，简单的代数加减会相互抵消，因此，为了数学上便于处理，通常采用残差平方和　　　　作为衡量总偏差的尺度。 　　所谓最小二乘法就是根据这一思路，通过使残差平方和为最小来估计回归系数的一种方法。 根据微积分中求极小值的原理，可知Q 存在极小值，欲使Q 达到最小，Q对?１和?２的偏导数等于零 例1、以食品支出与收入关系为例，说明一元线性回归系数估计值的具体计算过程。 解得： =4230÷15－0.1802×15160÷15=100.08元 样本回归方程为 ： 上式中：0.1802表示收入每增加1元，食品支出会增加0.1802元；100.08表示即使在收入为0的情况下，食品支出也需要100元。 五、回归系数的解释 回归系数具有“偏”或“边际”的意义 这里的“偏”或“边际”是指在其他变量保持不变的情形下，y对x线性关系的斜率。由于模型是线性的，偏回归系数是一常数?。 六、线性回归方程的统计检验 1、决定系数R 方——拟合优度检验 用于检验一个解释性或者预测性的方程效果如何，所得到的回归方程在多大程度上解释了因变量的变化，或者说方程对观察值的拟合程度如何。 如何理解拟合优度检验呢？ 如果没有回归方程，对y的估计只能采用其平均值进行估计。 例如，15个人的月食品支出的均值=（1/15）ΣYi=280，用它估计第10个人的食品支出，误差为： =310-280=30 元