最小二乘法一元线性回归.ppt

第三章 回归分析概要 第一节、经典线性回归模型 第二节、普通最小二乘估计和最大似然估计 第三节、假设检验 第四节、置信区间 第一节 经典线性回归模型 一、函数关系和统计关系 （一）函数关系是一一对应的确定性关系。（举例见教材） （二）统计关系是不完全一致的对应关系。（举例见教材） 二、理论模型和回归模型 Y=f(X1,X2,……,Xp) Y=f(X1,X2,…,Xk; ū) 三、随机误差和系统误差 1、随机误差：是由随机因素形成的误差。 所谓随机因素，是指那些对被解释变量的作用不显著，其作用方向不稳定（时正时负），在重复试验中，正作用与负作用可以相互抵消的因素。 2、系统误差：由系统因素形成的误差。所谓系统因素，是指那些对被解释变量的作用较显著，其作用方向稳定，重复试验也不可能相互抵消的因素。 四、线性回归模型和非线性回归模型 分类的标准：回归模型的期望函数关于参数的倒数是否与参数有关。即期望函数的一阶导函数是否仍然是关于参数的函数。如果导函数不是关于参数的函数，即参数是线性的，则称该回归模型是线性回归模型；反之，则称该回归模型是非线性回归模型。 五、回归模型的矩阵方法和随机矩阵 六、经典线性回归模型及其假设条件 一、有正确的期望函数。 它要求在线性回归模型中没有遗漏任何重要的解释变量，也没有包含任何多余的解释变量。 二、被解释变量等于期望函数与随机干扰项之和。 三、随机干扰项独立于期望函数。即所有解释变量Xj与随机干扰项u不相关。 四、解释变量矩阵X是非随机矩阵，且其秩为列满秩的，即rank（X）＝k。 五、随机干扰项服从正态分布。该假设给出了被解释变量的概率分布。 六、随机干扰项的期望值为0。即： E（u）＝0 七、随机干扰项具有方差齐性。即： 八、随机干扰项相互独立。 第二节 模型参数的估计一、普通最小二乘法（OLS估计） 通过协方差或相关系数证实变量之间存在关系，仅仅只是知道变量之间线性相关的性质——正（负）相关和相关程度的大小。 既然它们之间存在线性关系，接下来必须探求它们之间关系的表现形式是什么？ 最好用数学表达式将这种关系尽可能准确、严谨的表示出来——y=a+bx+u——把它们之间的内在联系挖掘出来。也就是直线中的截距a=？；直线的斜率b=？ 消费支出=基本生存+边际消费倾向×可支配收入+随机扰动 解决问题的思路——可能性 寻找变量之间直线关系的方法多多。于是，再接下来则是从众多方法中，寻找一种优良的方法，运用方法去求出线性模型——y=a+bx+u中的截距a=？；直线的斜率b=？正是是本章介绍的最小二乘法。 根据该方法所得，即表现变量之间线性关系的直线有些什么特性？ 所得直线可靠吗？怎样衡量所得直线的可靠性？ 最后才是如何运用所得规律——变量的线性关系？ 最小二乘法产生的历史 最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿（F.Gallton）——达尔文的表弟所创。 早年，道尔顿致力于化学和遗传学领域的研究。 他研究父亲们的身高与儿子们的身高之间的关系时，建立了回归分析法。 最小二乘法的地位与作用 现在回归分析法已远非道尔顿的本意 已经成为探索变量之间关系最重要的方法，用以找出变量之间关系的具体表现形式。 后来，回归分析法从其方法的数学原理——误差平方和最小（平方乃二乘也）出发，改称为最小二乘法。 父亲们的身高与儿子们的身高之间关系的研究 1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭的身高、臂长和腿长的记录 企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式 下图是根据1078个家庭的调查所作的散点图（略图） “回归”一词的由来 从图上虽可看出，个子高的父亲确有生出个子高的儿子的倾向，同样地，个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下： 如此以来，高的伸进了天，低的缩入了地。他百思不得其解，同时又发现某人种的平均身高是相当稳定的。最后得到结论：儿子们的身高回复于全体男子的平均身高，即“回归”——见1889年F.Gallton的论文《普用回归定律》。 后人将此种方法普遍用于寻找变量之间的规律 最小二乘法的思路 1．为了精确地描述Y与X之间的关系，必须使用这两个变量的每一对观察值，才不至于以点概面（作到全面）。 2．Y与X之间是否是直线关系（协方差或相关系数）？若是，将用一条直线描述它们之间的关系。 3．在Y与X的散点图上画出直线的方法很多。 任务？——找出一条能够最好地描述Y与X（代表所有点）之间的直线。 4．什么是最好？—找出判断“最好”的原则。 最好指的是找一条直线使得这些点到该直线的纵向距离的和（平方和）最小。 三种距离 距离是度量实际值与拟合值