多重回归2汇编.pptVIP

* 病态残差图例 * 将上图原始数据的y做对数变换后重新建模后的残差图 * 等方差性质诊断 等方差是很重要的前提条件，并且一般不能由增加样本量来解决。 由LS估计的回归线会被方差大的样本点剧烈扰动，所以，给方差小的样本点更多的权重是合理的，这就是WLS。 关键是寻求合适的权重或权函数。 如果y的方差随x增加而增加，可以用x的倒数做权 如果y是重复试验结果的均数，可以用重复次数加权。 * 来自Y 5+ 1+θ X的数据， θ~N 0,1 * LS估计结果 * LS估计的残差图 * 以x的倒数为权重的WLS估计结果 * WLS估计的残差图 * 小结：当“LINE”不满足时… ╳Linear 加入x的二次项 / 非线性回归 / 二次响应面回归 / 某种广义线性模型。 ╳ Independence 随机（混合）效应模型 / 多水平模型 / 时间序列模型 ╳ Normal 变量变换 ╳ Equal Variance 加权最小二乘估计 * 共线性--实例：胎儿受精龄和形态指标回归 * 回归结果 * 自变量的相关性 * 共线性（collinearity）问题 当自变量之间存在高度相关性，将引起回归方程估计结果不稳定，参数（回归系数）估计的标准误大大增加，称为共线性。 * Collinearity Diagnostics Statistics 基于复相关系数R i 识别 基于叉积阵特征值识别 将自变量分成xi和x-i两部分，后者代表除xi以外的所有自变量 ， R i 为xi和x-i的复相关系数。 * 共线性的经验判断 共线性诊断： 1）条件数 Condition Index k: k 10 （无或轻度） 10 k 30 中度） k 30 严重） 2）方差扩大因子 VIF : 5 VIF 10 重 3）容许度 Tolerance ： TOL 0.1 重 * 共线性诊断指标（1） * 共线性诊断指标（2） * 共线性的处理 逐步回归 stepwise ，剔除部分变量 岭回归（ridge regression） 主成分 / 因子回归 * 岭回归的结果 k 0.1 * 主成分回归的结果 *取前两个主成分进入回归模型 * 离群值和强影响点 离群值：远离回归直线的突出点、异常点 单个变量看可能都不离群，但整体看就可能不同。 强影响点：对回归直线影响特别大的点 二者关系：强影响点一定是离群值，但离群值不一定是强影响点 * 残差的标准差和标准误 残差的标准差是 残差估计值的标准误 标准化残差 “Z”化 学生化残差 * SPSS有关残差分析的统计量 Un-standardized Residual 粗残差 Deleted Residual 外残差 Standardized Residual 标准化残差 Studentized Residual 学生化残差 Studentized Deleted Residual 学生化外残差 * 一份抽取的小样本资料x-体重 y-身高 * 从原始散点图看离群点 多重线性回归 2 Multiple Linear Regression * 多重线性回归模型 β0为截距 intercept ， βi称为偏回归系数 partial regression coefficient 总体 样本 * 模型的建立 参数的最小二乘估计 ： 寻求参数?0、?1、…、?p的适宜数值b0、b1、…、bp，使观察值Y和回归估计值Yhat之间残差平方和最小 回归方程的假设检验： H0：?1 ?2 … ?p 0； H1：各?i不全为零。 检验方法为方差分析。将Y的总变异分解为回归和剩余两个部分，然后做F检验。 * 多重回归方差分析表 变异来源 离均差平方和SS 自由度 d.f. 均方 MS F 总 SS总 n-1 MS回/MS剩 回归 SS回 p SS回/p 剩余 SS剩 n-p-1 SS剩/ n-p-1 * 偏回归系数的假设检验 当多重回归方程经检验在规定的?水准上有统计学意义时，并不意味着每一个自变量都对Y有显著影响，即并不意味着各偏回归系数都与零有显著差别。因此，还须对各自变量的作用进行检验。即： H0：?i 0； H1：?i?0。 ? 检验统计量为t。 * 标准化偏回归系数 standardized partial regression coefficients 各个偏回归系数之间一般不能直接通过比较大小来判断它们对Y的贡献的大小。若要比较各个自变量对应变量Y的贡献，必须比较标准化偏回归系数，因为它是没有度量衡单位的。 算法：先对变量进行Z变换，即 然后用y,x拟合回归模型。 * 偏相关 偏相关 partial corre