管理统计学—回归分析.ppt

Simple Linear Regression Analysis 简单线性回归分析 The Scatter Diagram 散点图 Simple Linear Regression Model 简单线性回归模型 The Least Squares Method 最小二乘法 Testing for Significance 显著性检验 Hypothesis Test and Interval Estimation of Regression Parameters 回归参数的假设检验和区间估计 Prediction 预测 Residual Analysis 残差分析 回归分析是研究一个因变量与一个或几个自变量之间相互关系的统计分析方法。 回归分析研究的主要内容有： 建立相关模型； 检验变量之间的相关程度（检验相关模型的显著性）； 应用相关模型进行估计和预测等。 The Simple Linear Regression Analysis简单线性回归分析 设随机变量y与一个非随机变量x之间存在着某种相关关系。对于x的取定的一组不完全相同的值x1,x2,…xn，作独立试验得到n对观察结果 (x1,y1), (x2,y2), …, (xn,yn)其中y i是x=xi处对随机变量y观察的结果。这n对观察结果就是一个容量为n的样本。 将n对观察结果作为直角坐标平面上点的坐标，并将这些点画在直角坐标平面上，这样得到的图称为散点图。 一元线性回归模型 y=a+bx+ε yi=a+bxi+ 其中εi 是服从N(0,σ2)分布的随机变量，a和b是未知参数，称为回归参数，a，b和σ2都不依赖于x 一元线性回归方程 其中 是参数a和b的估计。 模型假定 随机误差项εi具有零均值和同方差 E(εi)=0 D(εi)= ??2, 随机误差项εi相互独立,不存在序列相关 Cov(εi ,εj)=0 随机误差项服从正态分布 εi~N(0,σ2) 自变量是确定性变量 因变量与自变量之间存在显著的线性关系 模型基本特征 (1)由于yi=(a+bxi)+εi，其中(a+bxi)为常量项（不是随机变量），εi是随机变量，因此yi也是随机变量。 (2)E(yi)=E(a+bxi+εi)=E(a+bxi)+E(εi)=a+bxi。 (3)D(yi)=D(a+bxi+εi)=D(εi)=σ2。 (4)因为Cov(εi,εj)=0,Cov(yi,yj)=0。 (5)yi-E(yi)=yi-(a+bxi)=εi。 以上特征表明，yi是一个随机变量，它来自于N(a+bxi,σ2)分布，对于不同的i, yi的均值随xi的不同而不同，但方差不随i变化（同方差假设）。 我们称E(y)为随机变量y的理论值，yi为y的对应于xi的观察值，考虑： a和b的最小二乘估计就是使Q达到最小的a和b，记为 ，即方程 的解, 上述方程称为正规方程组。 解方程组，得到参数a,b的最小二乘估计： 其中 由此得到回归方程 回归参数的最小二乘估计具有如下的统计特性： (1)线性性： 和 都是yi的线性组合； (2)无偏性：E( )=a,E( )=b； (3)方差最小性：a和b的最小二乘估计 、 分别是a、b的所有线性无偏估计量中方 差最小的。 Estimation of σ2  σ2的估计 总偏差平方和 的自由度为n-1， 误差平方和的自由度为n-2， 回归平方和的自由度为1， 总偏差平方和的分解：ST=SE+SR。 平均误差平方和 平均回归平方和 σ2的一个无偏估计 ^ Coefficient of Determination判定系数 γ2是可通过x与y的相关关系解释的偏差占总偏差的比重0≤γ2≤1，γ2越大拟合程度越高，γ2=1时，无偏差地拟合了yi；γ2越小，拟合程度越低γ2=0时，对yi没有拟合能力。 Correlation Coefficient相关系数 相关系数γ不但反映了y和x之间的线性相关密切程度，而且反映了y和x之间的相关方向。γ0，y和x之间呈一定程度的正相关关系；γ0，y和x之间呈一定程度的负相关关系。同时，γ与 同号。 F检