最小二乘估计似乎不相关回归和迁移学习简介.PDFVIP

最小二乘估计似乎不相关回归和迁 移学习简介 线性回归模型 最小二乘估计 优化问题 N N 2 2 ˆ ˆ MSE =(Y −Y ) / N =(Y − X ) / N 评价指标：均方误差 i i i i i=1 i=1 无偏性 有效性相合性 一致最小方差无偏估计 Uniformly minimum variance unbiased estimate UMVUE 高斯－马尔可夫定理(Gauss-Markov Theorem)  在线性回归模型中，如果误差满足同方差且互不相关，则回归系数的最佳线性无 偏估计(BLUE, Best Linear unbiased estimator)就是普通最小二乘估计。  高斯高斯－马尔可夫条件  最佳指的是方差最小  C-R下界 ˆ 1 Var ()   I ()  fisher 信息量  是衡量一个无偏估计器是否有效的重要工具，也就是说，给定一个无偏估计器， 我们可以利用C-R下界去判断这个估计器是否是最优的。 2  进一步若 ~ N (0, IN ) 普通最小二乘估计是一致最小方差无偏估计 似不相关回归模型 假设共有n个线性回归模型，每个方程共有T个观测值，Tn, 在第i个方程中，共有K 个解释变量。 i 误差的协方差矩阵               1 1 1 1 1 2 1 n                  2 2 2 1 2 2 2 n   Var  ＝E  (   )＝E       1 2 n                 