决策及预测课件.pptVIP

第三章 回归分析预测法 胡源 一、回归的由来 1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭的身高、臂长和腿长的记录 企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式 下图是根据1078个家庭的调查所作的散点图（略图） 回归 自变量与因变量之间的因果关系可以通过函数形式来表现，用数学模型来体现两者之间的数量关系。自变量的值是确定的，而因变量的值是随机的。 回归函数中，确定的自变量值所对应的是随机的因变量值的总体平均值。 2.按模型中自变量与因变量之间是否线性 分为线性回归模型和非线性回归模型。线性回归模型是指自变量与因变量之间呈线性关系； 非线性回归模型是指自变量与因变量之间呈非线性关系。 3.按模型中方程数目的多少 分为单一方程模型和联立方程模型。 单一方程模型是指只包含一个方程的回归模型；联立方程模型是指包含两个或两个以上方程的回归模型。 单一方程的一元线性回归分析是其它回归分析的基础，本章将主要介绍一元线性回归预测法。 第二节 一元线性回归预测法 一元线性回归预测法是根据一元线性回归模型中单一自变量的变动来预测因变量平均发展趋势的方法。 一、一元线性回归模型 若用X代表自变量，Y代表因变量。则给定一个自变量的值Xi时，对于一元线性回归模型就有一个因变量的总体平均值E(Yi)与它对应，其函数关系可写成E(Yi)=f(Xi)，它表明Y的总体平均值是随着X的变化而变化的。该函数亦称为总体回归函数。 一元线性回归模型的基本形式为： E(Yi)=β0+?1Xi （3-1） 或 Yi=E (Yi)+ui=β0+?1Xi+ui （3-2） 其中β0、?1是未知而固定的参数，称为回归系数，ui称为随机扰动项。 在回归分析中，我们要根据Y和X的观测值来估计未知的β0和?1的值，进而建立回归模型。 回归模型 通常我们是通过Y和X的样本观测值建立样本回归函数来估计参数的。 一元线性回归样本函数 回归模型 对于样本中每一个与Xi相对的观测值Yi与由样本回归函数得到的估计值有一随机偏差，这个偏差称为样本剩余，记为ei。 样本回归函数 回归模型 回归分析就是要根据样本回归函数来估计总体回归函数。 在这里需要解决的问题主要有两个： 其一是估计参数; 其二是“接近”的程度有多大。 二、最小二乘估计 建立样本回归函数的方法有许多，其中最流行的是最小二乘法（OLS）。 1.最小二乘准则 2.最小二乘估计式 1.最小二乘准则 ．当给定样本X和Y的N对观测值时，我们希望据此建立的样本回归函数值应尽可能接近观测值Yi，使其样本剩余的平方和尽可能地小，即?ei2?min。这一准则就是最小二乘准则。 Y Yi e . . . . 0 Xi X 2.最小二乘估计式 根据最小二乘准则建立样本回归函数的过程为最小二乘估计，简记OLS估计。 由此得到的估计值得计算式称为最小二乘估计式。 双变量线性回归模型的最小二乘估计 双变量线性回归模型的最小二乘估计 由最小二乘准则：?ei2?min 有： 双变量线性回归模型的最小二乘估计式 或 记： 三、相关系数 1．离差平方和的分解 在一元线性回归模型中，观察值yi的取值大小是上下波动的，这种波动现象称为变差。变差的产生是由两方面原因引起的：(1)受自变量变动的影响，即x取值的不同；(2)其他因素（包括观察和实践中产生的误差）影响。为了分析这两方面的影响，需要对总变差进行分解。 三、相关系数 对每一个观察值来说，变差的大小可以通过该观察值yi与其算 术平均数y-的离差yi- y-来表示，而全部n次观察值的总变差可 由这些离差的平方和来表示： 即：总变差＝剩余变差＋回归变差（可记为TSS = RSS + ESS） 等式右