多重回归2分析.pptVIP

* 病态残差图例 * 将上图原始数据的y做对数变换后重新建模后的残差图 * 等方差性质诊断 等方差是很重要的前提条件，并且一般不能由增加样本量来解决。 由LS估计的回归线会被方差大的样本点剧烈扰动，所以，给方差小的样本点更多的权重是合理的，这就是WLS。 关键是寻求合适的权重或权函数。 如果y的方差随x增加而增加，可以用x的倒数做权 如果y是重复试验结果的均数，可以用重复次数加权。 * 来自Y=5+(1+θ)X的数据， θ~N(0,1) * LS估计结果 * LS估计的残差图 * 以x的倒数为权重的WLS估计结果 * WLS估计的残差图 * 小结：当“LINE”不满足时… ╳Linear 加入x的二次项 / 非线性回归 / 二次响应面回归 / 某种广义线性模型。 ╳ Independence 随机（混合）效应模型 / 多水平模型 / 时间序列模型 ╳ Normal 变量变换 ╳ Equal Variance 加权最小二乘估计 * 共线性--实例：胎儿受精龄和形态指标回归 * 回归结果 * 自变量的相关性 * 共线性（collinearity）问题 当自变量之间存在高度相关性，将引起回归方程估计结果不稳定，参数（回归系数）估计的标准误大大增加，称为共线性。 * Collinearity Diagnostics Statistics 基于复相关系数R(i)识别 基于叉积阵特征值识别 将自变量分成xi和x-i两部分，后者代表除xi以外的所有自变量 ， R(i)为xi和x-i的复相关系数。 * 共线性的经验判断 共线性诊断： 1）条件数(Condition Index) k: k10 （无或轻度） 10k30 (中度） k30 (严重） 2）方差扩大因子(VIF): 5VIF10 中 VIF10 重 3）容许度(Tolerance)： TOL0.1 重 * 共线性诊断指标（1） * 共线性诊断指标（2） * 共线性的处理 逐步回归(stepwise)，剔除部分变量 岭回归（ridge regression） 主成分 / 因子回归 * 岭回归的结果 k=0.1 * 主成分回归的结果 *取前两个主成分进入回归模型 * 离群值和强影响点 离群值：远离回归直线的突出点、异常点 单个变量看可能都不离群，但整体看就可能不同。 强影响点：对回归直线影响特别大的点 二者关系：强影响点一定是离群值，但离群值不一定是强影响点 * 残差的标准差和标准误 残差的标准差是 残差估计值的标准误 标准化残差(“Z”化) 学生化残差 * SPSS有关残差分析的统计量 Un-standardized Residual 粗残差 Deleted Residual 外残差 Standardized Residual 标准化残差 Studentized Residual 学生化残差 Studentized Deleted Residual 学生化外残差 * 一份抽取的小样本资料x-体重 y-身高 * 从原始散点图看离群点 多重线性回归 (2) Multiple Linear Regression * 多重线性回归模型 β0为截距(intercept)， βi称为偏回归系数(partial regression coefficient) 总体 样本 * 模型的建立 参数的最小二乘估计 ： 寻求参数?0、?1、…、?p的适宜数值b0、b1、…、bp，使观察值Y和回归估计值Yhat之间残差平方和最小 回归方程的假设检验： H0：?1=?2=…=?p=0； H1：各?i不全为零。 检验方法为方差分析。将Y的总变异分解为回归和剩余两个部分，然后做F检验。 * 多重回归方差分析表 变异来源 离均差平方和SS 自由度 d.f. 均方 MS F 总 SS总 n-1 MS回/MS剩 回归 SS回 p SS回/p 剩余 SS剩 n-p-1 SS剩/(n-p-1) * 偏回归系数的假设检验 当多重回归方程经检验在规定的?水准上有统计学意义时，并不意味着每一