-最小二乘法PPT39一元线性回归.pptVIP

第三章 最小二乘法（一） 一元线性回归 问题的提出——必要性 通过协方差或相关系数证实变量之间存在关系，仅仅只是知道变量之间线性相关的性质——正（负）相关和相关程度的大小。 既然它们之间存在线性关系，接下来必须探求它们之间关系的表现形式是什么？ 最好用数学表达式将这种关系尽可能准确、严谨的表示出来——y=a+bx+u——把它们之间的内在联系挖掘出来。也就是直线中的截距a=？；直线的斜率b=？ 消费=基本生存+边际消费倾向X可支配收入+随机扰动项 解决问题的思路——可能性 寻找变量之间直线关系的方法多多。于是，再接下来则是从众多方法中，寻找一种优良的方法，运用方法去求出线性模型——y=a+bx+u中的截距a=？；直线的斜率b=？正是是本章介绍的最小二乘法。 根据该方法所得，即表现变量之间线性关系的直线有些什么特性？ 所得直线可靠吗？怎样衡量所得直线的可靠性？ 最后才是如何运用所得规律——变量的线性关系？ 最小二乘法产生的历史 最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿（F.Gallton）——达尔文的表弟所创。 早年，道尔顿致力于化学和遗传学领域的研究。 他研究父亲们的身高与儿子们的身高之间的关系时，建立了回归分析法。 最小二乘法的地位与作用 现在回归分析法已远非道尔顿的本意 已经成为探索变量之间关系最重要的方法，用以找出变量之间关系的具体表现形式。 后来，回归分析法从其方法的数学原理——误差平方和最小（平方乃二乘也）出发，改称为最小二乘法。 父亲们的身高与儿子们的身高之间关系的研究 1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭的身高、臂长和腿长的记录 企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式 下图是根据1078个家庭的调查所作的散点图（略图） “回归”一词的由来 从图上虽可看出，个子高的父亲确有生出个子高的儿子的倾向，同样地，个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下： 如此以来，高的伸进了天，低的缩入了地。他百思不得其解，同时又发现某人种的平均身高是相当稳定的。最后得到结论：儿子们的身高回复于全体男子的平均身高，即“回归”——见1889年F.Gallton的论文《普用回归定律》。 后人将此种方法普遍用于寻找变量之间的规律 最小二乘法的思路 1．为了精确地描述Y与X之间的关系，必须使用这两个变量的每一对观察值，才不至于以点概面（作到全面）。 2．Y与X之间是否是直线关系（协方差或相关系数）？若是，将用一条直线描述它们之间的关系。 3．在Y与X的散点图上画出直线的方法很多。 任务？——找出一条能够最好地描述Y与X（代表所有点）之间的直线。 4．什么是最好？—找出判断“最好”的原则。 最好指的是找一条直线使得这些点到该直线的纵向距离的和（平方和）最小。 三种距离 距离是度量实际值与拟合值 是否相符的有效手段 点到直线的距离——点到直线的垂直线的长度。 横向距离——点沿（平行）X轴方向到直线的距离。 纵向距离——点沿（平行）Y轴方向到直线的距离。也就是实际观察点的Y坐标减去根据直线方程计算出来的Y的拟合值。 这个差数以后称为误差——残差（剩余）。 最小二乘法的数学原理 纵向距离是Y的实际值与拟合值之差，差异大拟合不好，差异小拟合好，所以又称为拟合误差或残差。 将所有纵向距离平方后相加，即得误差平方和，“最好”直线就是使误差平方和最小的直线。 于是可以运用求极值的原理，将求最好拟合直线问题转换为求误差平方和最小。 数学推证过程 关于所得直线方程的结论 结论之一： 由（5）式，得 即拟合直线过y和x的平均数点。 结论之二： 由（2）式，得 残差与自变量x的乘积和等于0，即两者不相关。 第一节 拟合直线的性质 1．估计残差和为零 2．Y的真实值和拟合值有共同的均值 3．估计残差与自变量不相关 4．估计残差与拟合值不相关 1．估计残差和为零（Residuals Sum to zero） 由（1）式直接得此结论无须再证明。并推出残差的平均数也等于零。 2．Y的真实值和拟合值有共同的均值（The actual and fitted values of yi have the same mean） 3．估计残差与自变量不相关（Residuals are unrelated with independent variable） 4．估计残差与拟合值不相关（Residuals are unrelated with fitted value of yi） 关于回归直线性质的总结 第二节 拟合优度的评价 问题的提出 由最小二乘法所得直线究竟能够对这些点之间的关系加以反映吗？ 对这些点之间的关系或趋势反映到了何种程度？ 于是必须经过某种检验或者找出