十讲极大似然估计.docVIP

第十七讲 极大似然估计 首先看矩估计法可能存在的问题。 （上节课最后一道例题）设总体X的均值和方差都存在，且有.但，均为未知。又设是来自X的样本。试求，的矩估计量。 例题的求解结论为： ， 例１ 设，未知，是的一个样本，求。 解1：，. 解2：,. 显然，是两个不同的统计量，但都是的估计。就会给应用带来不便，为此，R.A.Fisher提出了以下的改进的方法：最（极）大似然估计法。 1. 基本思想： 若总体X的分布律为[或密度函数为]，其中为待估参数（）。 设是来自总体的一个样本，是相应于样本的一样本值，易知：样本取到观测值的概率为 ，[或样本落在点的邻域（边长分别为 的维立方体）内的概率近似地为（微分中值定理）]，令[或]，则概率随的取值变化而变化，它是的函数，称为样本的似然函数（注意，这里的是已知的样本值，它们都是常数）。 如果已知当时使取最大值，我们自然认为作为未知参数的估计较为合理。 最大似然方法就是固定样本观测值，在取值的可能范围内，挑选使似然函数达到最大（从而概率达到最大）的参数值作为参数的估计值，即 ，这样得到的与样本值有关，常记为，称之为参数的最大似然估计值，而相应的统计量称为参数的最大似然估计量。这样将原来求参数的最大似然估计值问题就转化为求似然函数的最大值问题了。 2. 具体做法: ①在很多情况下，和关于可微，因此据似然函数的特点，常把它变为如下形式：（或），该式称为对数似然函数。由高等数学知：的最大值点相同，令，求解得：，从而可得参数的极大似然估计量为； ②若和关于不可微时，需另寻方法。 例２ 设，为未知参数，是来自总体的一个样本，求参数的极大似然估计。 解：设是相应于样本的一个样本值。 因为总体的分布律为：，=0,1 故似然函数为 而 令，解得的最大似然估计值为。 所以的最大似然估计量为：。 例３：设，，未知，为的一个样本，是的一个样本值，求，的极大似然估计值及相应的估计量。 解： 所以似然函数为： 取对数： 令 由前一式解得，代入后一式得 的极大似然估计量分别为：, 例４：设,未知，是一个样本值，求的极大似然估计。 解：由于， 似然函数为： 通过分析可知，用解似然方程极大值的方法求极大似然估计很难求解（因为无极值点），所以可用直接观察法： 记，有 则对于满足条件：的任意有 即在时取得最大值 故的极大似然估计值为，的极大似然估计量为。 第七章 参数估计 第一节 点估计 联立以上两式解得 ， 基本思想简述：将简单随机样本取相应的样本值看作是一随机事件，既然这一事件已经发生，则说明该事件发生的可能性是比较大的。因此，不妨依据总体X的分布构造出该事件发生的概率，并通过改变总体X的待求分布参数，使该事件发生的概率趋于最大，并将使该事件发生的概率取最大值的相应分布参数值作为待求参数的估计值。 （课间休息） 3. 最大似然估计的性质 设的函数，具有单值反函数。又设是的概率分布中参数的最大似然估计，则是的最大似然估计。 例如，在例3中得到的极大似然估计为，而具有单值反函数。 据上述性质有：标准差的极大似然估计为 4.基于截尾样本的最大似然估计 （1）寿命分布的定义 产品寿命T 是一个随机变量,它的分布称为寿命分布.? （2）完全样本的定义 将随机抽取的个产品在时间时, 同时投入试验，直到每个产品都失效，记录每一个产品的失效时间，这样得到的样本（即由所有产品的失效时间所组成的样本）叫完全样本。(一种典型的寿命试验) 获得完全样本的时间周期较长,花费较大,在实际中很难实现. 如果不能得到完全样本, 就考虑截尾寿命试验. （3）两种常见的截尾寿命试验 定时截尾寿命试验：假设将随机抽取的个产品在时间时同时投入试验，试验进行到事先规定的截尾时间停止。如试验截止时共有个产品失效，它们的失效时间分别为，此时是一个随机变量，所得的样本称为定时截尾样本。 定数截尾寿命试验：假设将随机抽取的个产品在时间时同时投入试验，试验进行到有个（是事先规定的，）产品失效时停止，个失效产品的失效时间分别为，这里是第m个产品的失效时间。所得的样本称为定数截尾样本。 （4）基于截尾样本的最大似然估计 设产品的寿命分布是指数分布, 其概率密度是 ， 未知。 定数截尾样本的最大似然估计：设有n个产品投入定数截尾试验, 截尾数为m, 得定数截尾样本。利用这一样本估计未知参数(产品的平均寿命). 在时间区间有m个产品失效，有n-m个产品的寿命超过。利用最大似然估计法来估计，为了确定似然函数, 观察上述结果出现的概率. 产品在失效的概率近似地为 ， 其余n-m个产品寿命超过的概率为 上述观察结果出现的概率近似地为 其中，为常数。 取似然函数为 对数似然函数为 令，即 得到的最大似然估计值为 其中，称为总试验时间，它表示直到时刻为止个