回归分析 刘超 第6章 误差的问题.pdf

回归分析 ——方法、数据与R的应用 刘超 statchao@buaa.edu.cn 北京航空航天大学数学科学学院 2020年1月20 日 课件仅供教学使用 刘 超 ，回归分析——方法、 数据与R的应用，高等教育 出版社，2019年10月 第6章 误差的问题 上课之前的话 对于回归模型，通常假设误差ε是独立同分布的(i.i.d) ，有时也假设ε服从正态分布以便于进行统计推断 然而，这些假设在实践中往往并不成立 经常会出现以下四类问题: • (1)相关误差; • (2)误差独立而分布不相同; • (3)残差可能比预期大得多; • (4)非正态误差 面对这些情况，必须为普通最小二乘法寻找替代方法 本章将对回归模型误差的这四类问题进行讨论 目的与要求 (1) 了解研究误差问题的重要性 (2)掌握广义最小二乘法和加权最小二乘法 (3)掌握如何判断回归模型拟合不足 (4)掌握几种稳健的回归方法 (5)掌握分位数回归方法 (6)掌握解决误差问题的各种方法在R软件中的实现 6.1 广义最小二乘 6.1 广义最小二乘 对于线性回归模型 y=Xβ+ε 2 到目前为止，假定var ε=σ I 不同观测的误差可能具有非常数方差或彼此相关 2 2 • 可用var ε=σ Σ 代替，其中σ 是未知的，但Σ是已知的 • 即误差之间相关性和协方差已知, 方差未知 6.1 广义最小二乘 假设Σ=SS T ，其中S 是使用Choleski分解的三角矩 阵，可以将其看作矩阵的平方根 对回归模型 y=Xβ+ε 左乘S-1 ，可以将该模型转化 为标准情形 -1 -1 -1 S y=S Xβ+S ε y '=X'β+ε ’ 得到: -1 -1 -T -1 2 T -T 2 var ε'=var(S ε)=S var(ε)S =S σ SS S =σ I -1 -1 将y '=S y 对X '=S X 回归可以将广义最小二乘 (GLS)简化为普通最小二乘(OLS) • 其中误差ε'= S-1ε是独立同分布的 6.1 广义最小二乘 在这个变换模型中,残差平方和是: -1 -1 T -1 -1 T -T -1 T -1 (S y -S Xβ) (S y -S Xβ)=(y -Xβ) S S (y -Xβ)=(y -Xβ) Σ (y -Xβ) 通过将其最小化得到: መ T -1 -1 T -1 =(X Σ X) X Σ y 进而得到: T -1 -1 2 መ