Reg-Ch2-10.pptVIP

最小二乘准则 最大似然法（ Maximum Likelihood, ML） ，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大似然原理出发发展起来的其它估计方法的基础。 基本原理： 对于最小二乘法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据。 对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。 将该似然函数极大化，即可求得到模型参数的极大似然估计量。 由于似然函数的极大化与似然函数的对数的极大化是等价的，所以，取对数似然函数如下： 可见，在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最小二乘估计量是相同的。 但是，随机误差项的方差的估计量是不同的。 置信区间 预测值的置信区间: 解似然方程 0 ? ? 2 1 2 2 1 0 4 2 * 2 - - S + - i i X Y n L b b s s ?s ? m m m 即可得到 s m 2 的最大似然估计量为： n e X Y n i i i ? - - S 2 2 1 0 2 ? ? 1 ? b b s m 2.3. LSE 的性质 A. 无偏性 B. 方差和协方差 则, 其中 xi, yi i 1,?,n yi 的总变差: 来源: x: Regressor 随机误差 2.4 变差总和的分解 Dn 的性质： 1 Dn 为投影矩阵且秩为 n-1 ： A? A 且 A2 A 2 3 当 x?Rn 且 时, Dnx x Dn 本质上是一个中心化算子 性质 3 帽子矩阵:对称性 H? H 帽子矩阵:投影性 H2 H 则 SSTotal SSR + SSE 对拟合模型我们会问如下问题: 1. x 是否真正影响 y? 2. 模型是否拟合的很好? 3. 该模型能否预测响应? 假设: H0: b1 0, H1: b1 ? 0 若 H0 为真, E y b0 , 而 自变量没有影响 y. 有几种方法可检验该假设. 2.5 假设检验 * 例 1: 医院工时数资料 数据来自于 17 个美国 海军医院: 其中 Y: 每月工时数 X: 每月病床占用天数 2.1 一元线性回归 问题: Y 和 X 之间是否存在关系 我们是否可以用 X 的值预测 Y? 数据图 我们可以考虑如下的模型: y b0 + b1 x + e 2.1 E e 0, Var e s2. 其中 x: 自变量 regressor y: 因变量 response e : 随机误差 b0, b1, s2: 未知参数 b0, b1: 回归系数 s2: 误差方差 A. 估计方法 观测数据: x1, y1 , ?, xn, yn yi b0 + b1 xi + ei , i 1, ?, n 2.2 e1, ?, en i.i.d., E ei 0, Var ei s2 我们要估计 b0, b1 和 s2. 若 e 的分布已知, 可用 极大似然估计 MLE . 否则, 可考虑 最小二乘估计 LSE 和其他估计方法. ? 我们需最小化所有的 ei. L1 – 范数估计 2.3 最小二乘估计 2.4 稳健估计 2.5 X Y Xi,Yi ei Xj,Yj ej 0 B. 最小二乘估计 LSE 记 为了最小化 Q Q2, 求导: 把 2.8 代入 2.7 SXX b1 SXY 2.9 其中 例 1: 医院工时数资料 续 座机电话号码7 / 座机电话号码1 1.1174 4798.4800 - 1.1174 ? 4480.6180 -28.1286 回归方程: 例 1: 医院工时数资料 续 回归方程: 补充. 矩阵导数的定义 一个多元函数 y f x1,?,xn f x , x ? Rn 若偏导数 ?y/?xi i 1,?,n 都存在, 我们记 并称为 y 关于 x 的导数. 2.2. 用矩阵形式估计回归方程 例 1: y x?x x12 + + xn2 . 例 2: y x?Ax, A aij : n?n, 固定矩阵 我们有 特别的 当 A A? 为对称矩阵. 例 3: y a?x, 记 y f X f x11,?, x1m, x21,? x2m,? ,xn1,? xnm ,