3 回_模型的__[精].pptVIP

第三章 回归模型的估计: 概论Regression Model Estimation: General Approaches 第二章指出，当联合概率分布p(X,Y)已知时，在MSE最小化准则下，E(Y|X)是Y的最佳代表，被称为是Y关于X的回归函数(regression function)，也可称为总体回归函数(population regression function)。 问题是：我们往往不知道总体的p(X,Y)。因此，只能通过样本来估计总体的相关信息。 根据样本估计总体构成了回归分析的主体内容。 §3.1 参数估计：概论Parameter Estimation: General Approaches 设(Y1,Y2,…,Yn)’是从未知总体Y~f(Y)中随机抽取的一个样本，并由此估计总体的特征，如参数?。 我们可以寻找一个关于?的估计量(estimator)T，它是关于所抽样本Y的函数：T=h(Y) 对于某一样本(Y1,Y2,…,Yn)’，则有一个估计值(estimate): t=h(Y1,Y2,…,Yn) 一、衡量参数估计量优劣的准则 Criteria for an Estimator 由于T关于?的均方误有如下分解式 E(T- ?)2=Var(T)+[E(T)- ?]2 记[E(T)- ?]=E(T)- ?为T关于?的偏差(bias)。 对无偏估计量， MSE=Variance，因此，在实践中还希望从无偏估计量中选择方差最小的。于是，有如下最小方差无偏准则（minimum variance unbiasedness criterion） 定义: T is a minimum variance unbiased estimator, or MVUE, of ? iff (a) E(T- ?)=0 for all ?, and (b) V(T)≤V(T*) for all T* such that E(T*- ?)=0 2、无限样本准则（Asymptotic Criteria） 有限样本往往需要知道估计量的精确分布，而这是建立在对总体分布已知的情况下的。 如果总体分布未知，则需要依赖无限样本准则： 二、类比估计法(The Analogy Principle) 总体参数是关于总体某特征的描述，估计该参数，可使用相对应的描述样本特征的统计量。 上述方法都是通过样本矩估计总体矩，因此，也称为矩估计法(moment methods, MM)。 (3)类比法还有： 用样本中位数估计总体中位数； 用样本最大值估计总体最大值； 用样本均值函数mY|X估计总体期望函数?Y|X，等 2、总体均值的估计 对E(Y)=?，Var(Y)=?2的某总体随机抽样，由类比法(矩法)知： 要寻找最佳估计量，则需在约束∑ci=1下求解 min ∑ci2 记 Q=∑ci2-?(∑ci -1) 则 ?Q/?ci=2ci -? (i=1,2,…,n) ?Q/??= - (∑ci -1) 由极值求解条件得： ci=?/2, ∑ci =1 于是 ∑ci = n?/2 ? ?=2/n, ci=1/n 样本均值是样本的1阶原点矩，它是总体期望，即总体1阶原点矩的无偏估计量。 事实上，对总体的任何阶原点矩(raw moment) ?=?s=E(Ys) 简单随机抽样中，对应的样本原点矩 Ms’=(1/n)∑iYis 是总体原点矩的无偏估计量。 3、总体方差的估计 对?=?2=E(Y- ?Y)2= ?2 (?Y未知)，类比法得 4、总体协方差的估计 对?=?XY=Cov(X,Y)=E[(X-?X)(Y- ?Y)]，类比法得 同时有如下结论： 5、一元线性回归方程参数的估计 对一元线性回归模型Y=?0+?1X+u，在假设E(u|X)=0的条件下，E(Y|X)= ?0+?1X，从而 ?1=?XY/?X2, ?0=?Y-?1?X 求b1的条件期望(给定X=(X1,X2…,Xn)’)： E(b1|X)=E[∑WiYi|X]=∑E(W