应用统计4.pptVIP

四、线性统计模型(线性回归分析)?回归分析是研究变量之间相互关系的统计分析方法。?例如：家庭支出与家庭收入之间；汽车轮胎的销售量与汽车保有量之间；城市的商业零售总额与职工人数、平均收入、存款之间；商店的营业额与商店的面积等等，存在某种因果关系。 回归分析研究的内容有：确定变量之间的相互关系和相关程度，建立相关模型，检验变量之间的相关程度或相关模型的显著性，应用相关模型进行估计和预测。 定义： 称 为可决系数； 为相关系数 * 两个变量 间的关系 确定性的函数关系 (对于每一个x, y有一个值与之对应) 随机性的统计关系 (对于每一个x, y有多个可能的值与之对应) 设随机变量y与一个非随机变量x之间存在某种相互关系，对于x的取定一组不完全相同的值x1, x2, …, xn，作独立试验得到n对观察结果 (x1, y1), (x2, y2), …, (xn, yn) 其中，yi是x=xi处对随机变量y观察的结果。这n对观察结果就是一个容量为n的样本。 例1：商品价格P商品供给量S的观察数据如下表所示 80 14 110 80 60 45 35 30 25 20 15 供给量S 16 12 10 8 6 5 4 3 2 价格P x 2 3 4 5 6 8 10 12 14 16 Y 17 8.5 7 3 2.3 5 17 37 67 105 例2： 称（1）为一元线性回归模型。 1、简单线性回归模型 ? 假设因变量 y 与自变量 x 之间的相关关系可由下式表示 （1） 其中， x是完全独立的确定型自变量变量; a和b是未知参数，称为回归系数，?是随机变量，称为随机误差。a、b及?都不依赖于x。?是x以外所有其他因素对因变量Y值的综合影响，随机变量的存在与否体现了确定性关系与非确定性依存关系的根本差别。 关于?有如下假设： 随机误差 ?i 服从N(0, ?2)分布 随机误差在不同样本点之间是相互独立的，不存在序列关系，即 一元线性回归模型的基本特征： 称 为回归函数（方程） 问题：如何得到回归系数a, b ？ X Y 4 5 6 X = 4时Y 的概率分布 X = 6时Y 的概率分布 X = 5时Y 的概率分布 回归方程 E(Y) X=4 E(Y) X=5 E(Y) X=6 2、回归系数的最小二乘估计 用观察值与已给直线的离差平方和Q 作为对该直线的拟合程度的测度。最小二乘法是选择使离差平方和Q 实现最小的直线。 令 ，解得a与b 的最小二乘估计量为 称 为样本回归方程，它是回归方程的估计式。 例1的样本回归方程 回归系数的最小二乘估计具有以下性质： 均为yi的线性组合，通过点 ---- 数据的中心 是 a 、b 的无偏一致估计 具有最小的方差（即最有效） 回归函数 的估计由 给出。 是 的无偏一致估计。 残差：y 的观察值 yi 与回归函数估计值 的差，记为 ei具有以下性质： 残差的平方和 达到最小 （可由 得到）及 3、?2的估计，可决系数与相关系数（线性回归的方差分析） 在得到一个回归方程后，该方程的效果如何，方程所揭示的变量之间的变动规律强不强，能否利用回归方程进行y的预测，预测的误差如何等等。为此，需要进行方差分析。 定义：总偏差平方和： ，其自由度为n-1 误差平方和 ，其自由度为n-2 回归平方和 ，其自由度为1 均值 表示了y的平均度量，而 代表了y 的偏离的程度，SS总则表示总的偏差；而SSe表示了观测值围绕回归直线的偏离程度；SSR则表示了回归直线关于均值 的偏离程度。 回归直线 均值 可以证明，三者之间有 依据ei 的性质为零 可以证明， ，所以，平均误差平方