北京大学经济学院2 极大似然估计.docVIP

第二章 极大似然估计（MLE） 第0节 基础知识回顾：OLS 一．例子 假设一个基金的投资组合 (“基金 XXX”)的超额回报和股市指数的超额回报，有如下的数据: 直觉上，该基金的beta( beta 测量股票对股市指数的反应)应该是一个正数，我们希望证实这种关系。 画这2个变量的散点图： 对于一条直线，可以用以下的方程,来拟合数据。 y=a+bx 不过这个方程 (y=a+bx)是完全确定的，与实际情况不符合。要在这个方程里加入一个挠动项。 yt = ? + ?xt + ut 式中 t = 1,2,3,4,5 用直线来拟合数据最常用的方法是普通最小二乘法 (ordinary least squares， OLS)：取每个数据点到拟合直线的垂直距离，选择参数、，使得平方距离最小化 ( least squares)。 挠动项能够反映数据的一些特征:我们经常会忽略一些影响 yt 的因素，不可能把影响 yt的所有的的随机因素都在模型中考虑。 求解两个参数： 这就是OLS。整理得到： 在上例中，把数据代入公式得： 根据这个结果，如果预期下一年的市场回报将会比无风险回报高20%，那么你预期基金 XXX 的回报将会是多少? 二．概念：线性和非线性 运用 OLS, 要求模型对参数(? 和 ? )是线性的。“对参数线性”意味着参数之间不能乘、除、平方或n次方等。 在实际中变量之间的关系很有可能不是线性的。某些非线性的模型可以通过变换转化为线性模型，例如指数回归模型： 令 yt=ln Yt 及 xt=ln Xt 但是，很多模型从本质上讲是非线性的，例如： 三．OLS的优良性质 在OLS回归模型中，对ut (不可观测的误差项作如下假设)作如下架设: 解释 1. E(ut) = 0 误差项的均值为零 2. Var (ut) = ?2 误差项的方差是常数 3. Cov (ui,uj)=0 误差项相互独立的 4. Cov (ut,xt)=0 误差项和解释变量不相关 以上假设成立时，OLS有如下三个良好性质。 一致性 最小二乘估计是一致的。这意味着，当样本数趋向于无穷大时，估计值将收敛于它们的真实值（需要假设 E(xtut)=0 和 Var(ut)=?2 ? ） 无偏性 最小二乘估计式是无偏的，意味着估计值的期望等于真实值. E()=? and E()=? 为了保持无偏性需要假设 E(ut)=0和Cov (ui,uj)=0。无偏性比一致性更强。 有效性 在所有的线性无偏的估计式中，OLS估计式的方差是最小的，即OLS估计的参数与真实值?出现大的偏差的概率最小。 四．统计推断 用标准误差来度量参数估计值的可靠程度。在假设1 - 4 成立的条件下，估计值的标准误差可以写成 其中 s 是残差的标准误差。 假设 ut ? N(0,?2)，则OLS统计量服从正态分布： ? N(?, Var(?)) ? N(?, Var(?)) 如果挠动项不服从正态分布，最小二乘的估计式还是正态分布吗？样本数足够大时，答案是：是的。 从估计式和构造标准正态分布： 但是，由于不知道 var(?) 和 var(?), 我们用下面的分布加以替代。 t分布和标准正态分布之很相似。 这2种分布都是对称的，并且均值都为零。t分布多了一个参数：自由度(样本总观测数 -2)。当一个t分布的自由度是无穷大时，它等于标准正态分布。 用置信区间进行假设检验 在显著性检验中，下面的情况下接受零假设 H0：? = ?* ，即统计量落在非拒绝域内， 如果我们能够以 5% (或者10%)的置信水平拒绝某个检验的零假设，则称这个检验在统计上是显著的. 在这个过程中，我们可能会犯2种错误: 1. 当 H0 是正确的时候，我们拒绝了它，第一类错误. 2. 当 H0 是错误的时候，我们没有拒绝它，第二类错误. 犯第一类错误的概率是?. 回忆显著性水平的含义：当零假设是真的情况下，统计量落在拒绝域内的概率只有?。 但第二类错误的概率常常不能确定。一般而言，当我们降低第一类错误概率的同时也提高了第二类错误的概率。 第一节 引言 考虑ARMA模型： （1） 其中。前面我们假定知道总体参数，此时利用过程（1）进行预测。 本章我们要研究在仅能观测到序列的情况下，如何估计。估计方法为极大似然估计。令表示总体参数向量。假定我们观察到一个样本量为的样本。写出样本的联合概率密度函数： （2） 这是观察到样本发生的概率。使得“概率”最大的值就是最优估计——这就是极大似然估计的思想。 极大似然估计需要设定白噪声的分布。常常假定是高斯白噪声，则得到的函数为高斯似然函数。 极大似然估计的步骤： 写出似然函数（2