高级计量经济学- 回归模型的估计.ppt

第三章 回归模型的估计: 概论Regression Model Estimation: General Approaches 第二章指出，当联合概率分布p(X,Y)已知时，在MSE最小化准则下，E(Y|X)是Y的最佳代表，被称为是Y关于X的回归函数(regression function)，也可称为总体回归函数(population regression function)。 §3.1 参数估计：概论Parameter Estimation: General Approaches 设(Y1,Y2,…,Yn)’是从未知总体Y~f(Y)中随机抽取的一个样本，并由此估计总体的特征，如参数?。 我们可以寻找一个关于?的估计量(estimator)T，它是关于所抽样本Y的函数：T=h(Y) 对于某一样本(Y1,Y2,…,Yn)’，则有一个估计值(estimate): t=h(Y1,Y2,…,Yn) 一、衡量参数估计量优劣的准则 Criteria for an Estimator 1、有限样本准则 记T为所选取的统计量，则T与参数?的差异可用均方误（mean square error, MSE）刻画： E(T-?)2 由于T关于?的均方误有如下分解式 E(T- ?)2=Var(T)+[E(T)- ?]2 记[E(T)- ?]=E(T)- ?为T关于?的偏差(bias)。 2、无限样本准则（Asymptotic Criteria） 有限样本往往需要知道估计量的精确分布，而这是建立在对总体分布已知的情况下的。 如果总体分布未知，则需要依赖无限样本准则： 上述方法都是通过样本矩估计总体矩，因此，也称为矩估计法(moment methods, MM)。 (3)类比法还有： 用样本中位数估计总体中位数； 用样本最大值估计总体最大值； 用样本均值函数mY|X估计总体期望函数?Y|X，等 2、总体均值的估计 对E(Y)=?，Var(Y)=?2的某总体随机抽样，由类比法(矩法)知： 要寻找最佳估计量，则需在约束∑ci=1下求解 min ∑ci2 记 Q=∑ci2-?(∑ci -1) 则 ?Q/?ci=2ci -? (i=1,2,…,n) ?Q/??= - (∑ci -1) 由极值求解条件得： ci=?/2, ∑ci =1 于是 ∑ci = n?/2 ? ?=2/n, ci=1/n 3、总体方差的估计 对?=?2=E(Y- ?Y)2= ?2 (?Y未知)，类比法得 4、总体协方差的估计 对?=?XY=Cov(X,Y)=E[(X-?X)(Y- ?Y)]，类比法得 同时有如下结论： 5、一元线性回归方程参数的估计 对一元线性回归模型Y=?0+?1X+u，在假设E(u|X)=0的条件下，E(Y|X)= ?0+?1X，从而 ?1=?XY/?X2, ?0=?Y-?1?X 求b1的条件期望(给定X=(X1,X2…,Xn)’)： E(b1|X)=E[∑WiYi|X]=∑E(WiYi|X)=∑WiE(Yi|X) =∑Wi(?0+?1Xi)=?0∑Wi+?1∑WiXi=?1 E(b1)=E(E(b1|X))=E(?1)=?1 注意： (a)通常情况，如果T1、T2分别是?1、 ?2的无偏估计量，?=?1/?2，则T=T1/T2并不是?的无偏估计量，因为 E(T)=E(T1/T2)?E(T1)/E(T2)=?1/?2=? (b) 由于大样本下，样本矩是总体矩的一致估计量，而任何样本矩的连续函数是对应总体矩函数的一致估计，即有 三、极大似然估计 Maximum likelihood Estimation 极大似然估计是在假设随机变量Y的分布形态已知，而分布的若干参数未知的情形下，根据样本信息估计这些未知参数的一种估计方法。 基本思想：在总体分布形态已知的情况下，随机抽取的样本可能来自不同参数决定的不同的总体，而最可能来自哪个总体呢？它们所来自的总