回归诊断残差分析约束最小二乘估计课件.ppt

定理3.6.1 * 通过残差分析。首先求出简单最小二乘估计，然后通过残差分析，利用误差方差信息来估计噪声的协方差阵。 直接通过统计方法估计协方差结构，比如贝叶斯的方法。 * 加权最小二乘估计 噪声方差未知，参数的两步估计。 * * 误差的独立性诊断 * * 误差的独立性诊断 * * 具有自相关性的残差图 * * 误差的独立性诊断 * * * 影响分析 * * 如何判断是否是强影响点 * * 一般若Di小于0.5，则不是；若大于1则判断是，但是需要视具体情况而定； 利用置信区间来确定临界值； 对于强影响点需要检查是否是原始数据有误，如有误则修改；否则需要从原始数据中剔除。 凸优化问题。 条件极值问题，Lagrange乘子法求解。 * * * * 定理3.3.1 例3.3.1 * * * * 残差分析 线性关系 误差方差齐性 误差独立性 影响分析 * * * * 残差及其性质 * * 残差及其性质 * * 残差及其性质 * * 学生化残差 * * 残差图 * * 残差图 * * Response-Fertility Predictor1-PPgdp (per person gross domestic product) Predictor2-Purban (percentage of the population that lives in an urban area) * * * * Scatterplot * * Residuals plots 非线性关系 * * * * 残差图 * * 散点图及残差图 * * 引入新变量 * * 新的残差图 * * 居民收入与消费水平有着密切的关系。用xi表示第i户的收入量,yi表示第i户的消费额,一个简单的消费模型为: yi=β0+β1xi+εi，i=1,2,…,n 低收入的家庭购买差异性比较小, 高收入的家庭购买行为差异就很大。 如何判断回归问题是否具有异方差？ * * 误差方差齐性的诊断 * * 误差方差齐性的诊断 * * 当存在异方差时，普通最小二乘估计存在以下问题: 参数估计值虽是无偏的,但不是最小方差线性无偏估计; 参数的显著性检验失效; 回归方程的应用效果极不理想。 * * Box-Cox变换法； 加权最小二乘法。 * * * * * * Box-Cox变换 Box-Cox变换法是通过对参数的适当选择，使其满足Gauss-Markov条件； Box-Cox变换是一个变换族； 如何确定合适的参数？（极大似然方法） 变换后的模型满足Gauss-Markov条件； 观测的似然函数可以根据变换得到； 似然函数最终是Lambda的函数； 似然函数的极大等价于RSS的极小。 * * * * * 考虑如下的线性回归模型： 变换后的回归模型： 新模型中参数的估计 * * * 线性模型中参数满足一定的约束条件 空间角度测量； 适应性滤波。 考虑线性约束问题 * *