数理统计与随机过程参数估计.ppt

I.极大似然估计原理设总体X的分布(连续型时为概率密度，离散型时为概率分布)为f(x,θ),X1,X2,…,Xn是抽自总体X的简单样本。于是，样本的联合概率函数(连续型时为联合概率密度，离散型时为联合概率分布)为被看作固定，但未知的参数视为变量第25页,共51页，星期六，2024年，5月将上式简记为L(θ)，即称L(θ)为θ的似然函数。视为变量视为固定值似然函数第26页,共51页，星期六，2024年，5月假定我们观测到一组样本X1,X2,…,Xn，要去估计未知参数θ。称为θ的极大似然估计(MLE)。一种直观的想法是：哪个参数(多个参数时是哪组参数)使得这组样本出现的可能性(概率)最大，就用那个参数(或哪组参数)作为参数的估计。这就是极大似然估计原理。即，如果θ可能变化空间,称为参数空间。第27页,共51页，星期六，2024年，5月(4).在最大值点的表达式中，代入样本值，就得参数θ的极大似然估计。II.求极大似然估计(MLE)的一般步骤.由总体分布导出样本的联合概率函数(连续型时为联合概率密度,离散型时为联合概率分布)；(2).把样本的联合概率函数中的自变量看成已知常数,参数θ看成自变量,得到似然函数L(θ)；(3).求似然函数L(θ)的最大值点(常常转化为求lnL(θ)的最大值点)，即θ的MLE;第28页,共51页，星期六，2024年，5月两点说明：●求似然函数L(θ)的最大值点，可应用微积分中的技巧。由于ln(x)是x的增函数，所以lnL(θ)与L(θ)在θ的同一点处达到各自的最大值。假定θ是一实数,lnL(θ)是θ的一个可微函数。通过求解似然方程可以得到θ的MLE。第29页,共51页，星期六，2024年，5月●用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求。若θ是向量，上述似然方程需用似然方程组代替。第30页,共51页，星期六，2024年，5月极大似然估计示意图H：样本集第31页,共51页，星期六，2024年，5月极大似然估计示意图D：样本集l(?)=ln(P)第32页,共51页，星期六，2024年，5月极大似然估计的对数似然方程人们通常把叫做对数似然函数。第33页,共51页，星期六，2024年，5月III.下面举例说明如何求参数的MLE例1:设X1,X2,…,Xn是取自总体X~B(1,p)的一个样本，求参数p的极大似然估计。解：似然函数为第34页,共51页，星期六，2024年，5月对数似然函数为：对p求导，并令其等于零，得上式等价于第35页,共51页，星期六，2024年，5月解上述方程，得换成换成第36页,共51页，星期六，2024年，5月例2：求正态总体N(?,?2)参数?和?2的极大似然估计(注:我们把?2看作一个参数)。解：似然函数为对数似然函数为第37页,共51页，星期六，2024年，5月似然方程组为由第一个方程，得到代入第二方程，得到此结果与矩估计相同！第38页,共51页，星期六，2024年，5月例3：设总体X服从泊松分布P(?)，求参数?的极大似然估计。解：由X的概率分布函数为得?的似然函数第39页,共51页，星期六，2024年，5月似然方程为对数似然函数为其解为第40页,共51页，星期六，2024年，5月换成换成得?的极大似然估计第41页,共51页，星期六，2024年，5月例4：设X～U(a,b)，求a,b的极大似然估计。解：因所以第42页,共51页，星期六，2024年，5月第43页,共51页，星期六，2024年，5月由上式看到：L(a,b)作为a和b的二元函数是不连续的，所以我们不能用似然方程组来求极大似然估计，而必须从极大似然估计的定义出发，求L(a,b)的最大值。第44页,共51页，星期六，2024年，5月为使L(a,b)达到最大，b-a应该尽量地小。但b不能小于max{x1,x2,…,xn}。否则，L(a,b)=0。类似地，a不能大于min{x1,x2,…,xn}。因此，a和b的极大似然估计为此结果与矩估计结果不同！矩估计结