极大似然估计法.docVIP

极大似然估计法 PAGE PAGE 6 《概率论与数理统计》 极大似然思想 一般地说，事件与参数有关，取值不同，则也不同．若发生了，则认为此时的值就是的估计值．这就是极大似然思想．看一例子 ： 例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率． 分析：易知的值无非是1/4或3/4．为估计的值，现从袋中有放回地任取3只球，用表示其中的黑球数，则．按极大似然估计思想，对的取值进行估计． 解：对的不同取值，取的概率可列表如下: ０ １ ２ ３ 故根据极大似然思想即知：． 在上面的例子中，是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则就最象那个． 二、似然函数与极大似然估计 1、离散分布场合： 设总体是离散型随机变量，其概率函数为，其中是未知参数．设为取自总体的样本．的联合概率函 如果方程（４）有唯一解，又能验证它是一个极大值点，则它必是所求的极大似然估计值．有时，直接用（４）式行不通，这时必须回到原始定义（２）进行求解． ２、连续分布场合： 设总体是连续离散型随机变量，其概率密度函数为，若取得样本观察值为，则因为随机点取值为时联合密度函数值为．所以，按极大似然法，应选择的值使此概率达到最大．我们取似然函数为 ，再按前述方法求参数的极大似然估计值． 三、求极大似然估计的方法 1、可通过求导获得极大似然估计： 当函数关于参数可导时，常可通过求导方法来获得似然函数极大值对应的参数值． 例２、设某工序生产的产品的不合格率为，抽个产品作检验，发现有个不合格，试求的极大似然估计． 分析：设是抽查一个产品时的不合格品个数，则服从参数为的二点分布．抽查个产品，则得样本，其观察值为，假如样本有个不合格，即表示中有个取值为１，个取值为０．按离散分布场合方法，求的极大似然估计． 解：（１）写出似然函数： （２）对取对数，得对数似然函数： （３）由于对的导数存在，故将对求导，令其为０，得似然方程： （４）解似然方程得： （５）经验证，在时，，这表明可使似然函数达到最大 （６）上述过程对任一样本观测值都成立，故用样本代替观察值便得的极大似然估计为： 将观察值代入，可得的极大似然估计值为：，其中． 若总体的分布中含有多个未知参数时，似然函数是这些参数的多元函数．代替方程（３），我们有方程组，由这个方程组解得分别是参数的极大似然估计值． 例３、设某机床加工的轴的直径与图纸规定的中心尺寸的偏差服从，其中未知．为估计，从中随机抽取根轴，测得其偏差为．试求的极大似然估计． 分析：显然，该问题是求解含有多个（两个）未知参数的极大似然估计问题．通过建立关于未知参数的似然方程组，从而进行求解． 解：（１）写出似然函数： （２）写出对数似然函数： （３）将分别对求偏导，并令它们都为０，得似然方程组为： （４）解似然方程组得： ， （５）经验证使达到极大， （６）上述过程对一切样本观察值成立，故用样本代替观察值，便得的极大似然估计分别为： ，． ２、不可通过求导方法获得极大似然估计： 当似然函数的非零区域与未知参数有关时，通常无法通过解似然方程来获得参数的极大似然估计，这时可从定义（２）出发直接求的极大值点． 例4、设总体服从均匀分布，从中获得容量为的样本，其观测值为，试求的极大似然估计． 分析：当写出其似然函数时，我们会发现的非零区域与有关，因而无法用求导方法来获得的极大似然估计，从而转向定义（２）直接求的极大值． 解：写出似然函数： 为使达到极大，就必须使尽可能小，但是不能小于，因而取时使达到极大，故的极大似然估计为： ． 进一步，可讨论估计的无偏性： 由于总体，其密度函数与分布函数分别为： ，，从而的概率密度函数为： 这说明的极大似然估计不是的无偏估计，但对作一修正可得的无偏估计为：． 通过修正获得未知参数的无偏估计，这是一种常用的方法．在二次世界大战中，从战场上缴获的纳粹德国的枪支上都有一个编号，对最大编号作一修正便获得了德国生产能力的无偏估计． 综上，可得求极大似然估计值的一般步骤． 四、求极大似然估计的一般步骤 1、由总体分布导出样本的联合概率函数（或联合密度）； 2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数看作自变量，得到似然函数； 3、求似然函数的最大值点（常转化为求对数似然函数的最大值点）； 4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值． 五、极大似然