第13章多元线性回归.pptVIP

第13章 多元线性回归 多元线性回归模型（对总体而言） 为未知参数， 为随机误差项，反映其它未列入回归模型的变量对因变量的影响。 Y，X均为为列向量 关于多元线性回归模型的标准假设： 1. ，可推知， 该方程称为回归方程。 2. 对于所有的X，误差项 的方差 一样：即同方差假定。 3.误差项 独立。其协方差为零， 4.自变量是给定的变量，与误差项线性无关。 5.误差项 服从正态分布，从而说明Y服从正态分布 对于总体的多元线性回归模型，由于总体参数未知，我们只能利用样本数据进行估计，得到样本回归模型（对样本而言）。 分别为 的估计。 其中真实值与估计值之间的差距用e来表示： 是y的一个估计值。 其中， 多元回归模型的估计 最小二乘法：残差最小化，即令 最小 数据 估计的方程： 我们用矩阵的形式来表述以上模型 求估计值B 令 最小 为了指定最佳工作计划表，Butler运输公司的管理人员希望估计其司机每天行驶的时间。起初，管理人员认为行驶时间y与行驶的英里数x1关系密切。因此收集10项运输任务的样本数据，利用excel统计分析，输出结果为： 发现模型的拟合度较低，希望追加另一个变量以解释变差中的剩余部分。追加的第二个变量是运货次数x2。 通过excel统计分析，我们来看看，增加的变量是否有助于提高模型的解释度。 回归系数的解释 在多元回归情形下，回归系数的解释：当所有其它自变量均保持不变时，bi是因变量对应于自变量xi改变一个单位时，所作的改变的估计值。 多元判定系数 SST=SSR+SSE 当增加自变量个数后，SSE会减小，SSR会增大。需要调整。 模型的显著性检验 1. 整体显著性检验(test for overall significance) 原理：MSE给出了随机误差项方差的一个无偏估计量。如果H0： 成立，则有： MSR=SSR/(p+1-1)也为误差项方差的一个无偏估计，且MSR和MSE的值将很接近。否则，MSR将高估误差项方差，从而使MSR和MSE的比值较大。 F检验： 提出假设：H0: Ha:至少有一个参数不等于0. 检验的统计量：F=MSR/MSE 拒绝法则：若F 则拒绝H0。 我们对Butler运输公司的模型进行F检验： H0: Ha:参数至少有一个不等于0. 在H0为真的前提下，统计量F=MSR/MSE=32.9,F统计量服从自由度为(2,7)的F分布。 查表得， F9.55，则拒绝H0。（由P值也同样可以判断） 方差分析表：表中的k表示待估参数个数。 2. 单个参数显著性的t检验： 与一元回归模型一样，模型估计的参数 服从正态分布 构造统计量： 由于总体方差未知，我们同样用MSE来近似替代总体方差 此时的统计量用t替代： 这里有: X1= X2= T分布的构造特点为:X1/sqrt(x2/自由度) 检验的假设为： H0: ；Ha: 在H0为真的前提下，有检验统计量 服从自由度为(n-k)的t分布。 拒绝法则： 若|t|t(a/2,n-k)，则拒绝H0 由软件统计结果得到， 对H0: 的检验，计算得到的t统计量为6.18，比较t(0.005,7)，6.183.499，拒绝H0，认为 统计上显著性。 同理对 做显著性检验，得到相同的结果。 3. 多重共线性 多重共线性指：自变量之间存在相关关系。 多重共线性带来的问题： (1)系数估计可能有符号错误或估计不出来 (2)尽管回归关系的总显著性很强，但参数估计可能有较大的标准差，单个参数检验的显著性水平较低。不能通过检验。 (3)数据很小的变化会导致参数估计的很大变化。 检验多重共线性： 对于有两个自变量的情形，当他们的样本相关系数大于0.7或小于-0.7时，将有可能产生多重共线性。 克服多重共线性：合并有相关关系的自变量 多元回归模型的估计和预测 1.E(y)的点估计量和y的预测值 将自变量 的值代入估计方程，并利用相对应的值作为y的点估计。 Bulter的例子：问当行驶里程为100英里，运货次数