6极大似筒然估计.docVIP

PAGE PAGE 10 极大似然估计 极大似然估计是非线性模型中非常重要的一种估计方法。最小二乘法是极大似然估计在线性模型中的特例。 似然函数 假设随机变量xt的概率密度函数为 f (xt)，其参数用θ= (?1, ?2, …, ?k ) 表示，则对于一组固定的参数 θ 来说，xt的每一个值都与一定的概率相联系。即给定参数θ，随机变量xt的概率密度函数为f(xt)。相反若参数 θ 未知，当得到观测值xt后，把概率密度函数看作给定xt的参数 θ 的函数，这即是似然函数。 L(θ | xt ) = f (xt | θ ) 似然函数L(θ | xt ) 与概率密度函数f (xt | θ ) 的表达形式相同。所不同的是在f (xt | θ ) 中参数 θ 是已知的，xt是未知的；而在L(θ | xt) 中xt是已知的观测值，参数 θ是未知的。 对于n个独立的观测值x=(x1, x2, …, xn)，其联合概率密度函数为 其对应的似然函数为： 经常使用的是对数似然函数，即对L(θ| xt )取自然对数： LnL(θ | xt ) =log[f (xt | θ )] 例 STYLEREF 1 \s 1. SEQ 例 \* ARABIC \s 1 1正态分布随机变量的似然函数 设一组随机变量xi,（i = 1, 2, …, n）是相互独立的，且服从正态分布N(?,?2)。存