回归模型的估计概论（高级计量经济学清华大学潘文清）.pptVIP

第三章 回归模型的估计: 概论; 第二章指出，当联合概率分布p(X,Y)已知时，在MSE最小化准则下，E(Y|X)是Y的最佳代表，被称为是Y关于X的回归函数(regression function)，也可称为总体回归函数(population regression function)。; 问题是：我们往往不知道总体的p(X,Y)。因此，只能通过样本来估计总体的相关信息。;§3.1 参数估计：概论Parameter Estimation: General Approaches;一、衡量参数估计量优劣的准则 Criteria for an Estimator; 对无偏估计量， MSE=Variance，因此，在实践中还希望从无偏估计量中选择方差最小的。于是，有如下最小方差无偏准则（minimum variance unbiasedness criterion）;2、无限样本准则（Asymptotic Criteria）; 在实践中，为了区分同一参数不同的一致估计量，需要从退化极限分布(degenerate limiting distribution)转向渐近分布(asymtotic distribution);注意： (1)大样本BAN准则是小样本MVUE准则的渐近版本(version)；;二、类比估计法(The Analogy Principle); 上述方法都是通过样本矩估计总体矩，因此，也称为矩估计法(moment methods, MM)。;2、总体均值的估计; 要寻找最佳估计量，则需在约束∑ci=1下求解 min ∑ci2; 样本均值是样本的1阶原点矩，它是总体期望，即总体1阶原点矩的无偏估计量。;3、总体方差的估计; 则E(S*2)=?2，S*2为总体方差?2的无偏估计。 ; 4、总体协方差的估计; V的总体期望与方差如下： E(V)=E(X*Y*)=Cov(X,Y)=?XY=?11 Var(V)=E(V2)-E2(V)=E(X*2Y*2)-E2(X*Y*)=?22-?112;同时有如下结论：;容易证明： 无限样本下，样本协方差SXY是总体协方差?XY的一致估计量。;5、一元线性回归方程参数的估计; 求b1的条件期望(给定X=(X1,X2…,Xn)’)： E(b1|X)=E[∑WiYi|X]=∑E(WiYi|X)=∑WiE(Yi|X) =∑Wi(?0+?1Xi)=?0∑Wi+?1∑WiXi=?1 E(b1)=E(E(b1|X))=E(?1)=?1 同理： E(b0|X)=E(Y|X)-E(b1|X)X=(?0+?1X)-?1X=?0 E(b0)=E(E(b0|X))=E(?0)=?0; 注意：; 三、极大似然估计 Maximum likelihood Estimation; 对离散分布，分布特征由pmf (probability mass function) f(Y; ?)=P(Y)刻画，因此，极大似然估计，就是在所抽样本Y=(Y1,Y2,…Yn)’下，寻找适当的?，以使P(Y)=f(Y;?)最大。;2、极大似然估计; 例: 假设有一正态随机样本Yi~N(?,?2), i=1,2,…,n，其中未知参数?=(?,?2)。; 可见，总体均值的极大似然估计就是样本均值，总体方差的极大似然估计就是样本方差。;由数理统计学知识： (n-1)s*2/?2~?2(n-1) 因此， Var[(n-1)s*2/?2]=2(n-1) Var(S*2)=2?4/(n-1);;§3.2 估计总体关系Estimating a Population Relation; 由类比法，在一个容量为n的随机样本下，可以写出样本线性回归模型： Yi=b0+b1Xi+?i i=1,2,…,n;二、估计线性条件期望函数 Estimating a linear CEF; Theorem. 从总体回归函数为E(Y|X)=?0+?1X的总体中简单随机抽样，则样本回归函数的系数b0、b1分别是?0、?1的无偏且一致的估计量。;;对多元线性回归模型:  Y=?0+?1X1+?2X2+…+?kXk+U最佳线性最小二乘解是通过求解如下极值问题得到 min E(U2)=min E[Y-(?0+?1X1+…+?kXk)]2 ;