时间序列分析方 第05章 最大似然估计.docVIP

第五章 最大似然估计 在本章中我们开始讨论时间序列模型的参数估计方法，其中极大似然估计是一种最为常用的参数估计方法。我们仅仅讨论极大似然估计的原理和似然函数的推导，而对获取极大似然估计的算法不加以详述。 §5.1 引 言 5.1.1 假设数据的真实生成过程是一个过程，则该过程的数据生成机制为： 其中是白噪声序列，满足： 我们将要讨论如何利用的观测值来估计母体参数： 我们将要采用的方法是极大似然估计方法，因此需要获得似然函数的表达式。假设获得了个样本，如果能够计算出相应的联合概率密度函数： 上述函数可以视为在给定参数下样本发生的概率，因此合理的参数取值是使得上述概率最大，如此参数便称为极大似然估计。这时我们需要极大化上述联合概率密度。 为此，我们假设噪声序列是高斯白噪声序列，即 虽然这个假设非常强，但是在这样假设下得到的参数估计，对于非Gauss过程来说也是很有意义的。 具体求解极大似然估计的步骤是：一是先求出并计算似然函数，二是求似然函数的最大值。这里涉及到一些代表性的非线性数值优化问题。 §5.2 高斯过程的似然函数 假设数据生成过程是一个具有高斯白噪声序列的过程： 这时对应的参数向量为：。我们首先寻求联合概率分布函数，也就是这些参数对应的似然函数。 (1) 求上述过程似然函数的代表性过程是利用条件概率密度进行传递，所以需要先求出的概率密度。它的均值和方差为： ， 由于