第五章01极大似然估计和据估计.ppt.pptVIP

矩估计与极大似然估计 1、概论： 统计推断:从观测数据推断未知变量或未知模型的有关信息的过程. （1）统计学中两种重要方法：贝叶斯统计推断和经典统计推断 （2）统计推断的主要内容：参数估计，假设检验和显著性检验 （3）统计学中最重要的方法：最大后验概率准则，最小均方估计，最大似然估计，回归，似然比检验，等等 2、点估计 设总体X的分布函数 中的参数 未知， 是来自总体的样本。我们用一个统计量 的取值 作为θ的估计值，统计量 称为θ的点估计（量），简称估计。 如何构造统计量没有明确的规定，只要满足一定的合理性即可。 问题一：如何给出估计，即估计方法问题。 问题二：对不同的估计进行评价，即估计好坏的判断标准 媚储饵衷鸟畦票碗赣刃驴拈抬赌彻甚砸贝吾鄂妇盛哪壹插倍就罕伊缉凶路第五章01极大似然估计和据估计.ppt第五章01极大似然估计和据估计.ppt 极大似然估计 例：设有外形完全相同的两个箱子，甲箱中有3个白球，1个黑球，乙箱中有3个黑球1个白球。现随机的抽取一箱，并从中取出一球，结果取得白球。问这球是从那一箱子中取出的？ 解： 设A表示“取出白球”，则： 即：如果取出的是甲箱，A发生的概率为0.75 即：如果取出的是乙箱，A发生的概率为0.25 于是我们判断：此球最像是从甲箱中取出的。 这里“最像”就是“极大似然”的意思。 若抽取次数增加为3次(有放回),白球和黑球的比例未知的情况（下例）： 膏窑兑坝夸籍氏嚎阁济蛊派厚缴卡驰仪巷棚狄滔演藩哪滁峪憨邦等渭焚督第五章01极大似然估计和据估计.ppt第五章01极大似然估计和据估计.ppt p 0 1/4 2/4 3/4 1 p(X=2) 0 9/64 12/64 27/64 0 于是判断：p=3/4 例：设一个箱子中装有白球和黑球，共4个，但不知道白球所占的比例。现有放回的取三个球，结果有两个白球。估计白球所占的比例是多少。 解：设白球所占的比例为p，则p的取值为:0，1/4，2/4，3/4，1 根据二项分布， 得： 如果箱子中的球的个数未知，且比较大，则p的范围： 此时我们应该选择p，使得 尽可能大 令 当p=2/3时，L(p)取最大值， 于是估计p=2/3 更一般的情况：有放回的n次取球： 舌还巳夏碗舒启喊菌角矾鹃傈双拆姜皆跋懈宿缎诽凉焊顿辗烘赐家义歪剪第五章01极大似然估计和据估计.ppt第五章01极大似然估计和据估计.ppt 如果箱子中的白球的比例为p，有放回的n次取球，结果为： 其中 于是： 令 根据极大似然原理，应选择p，使L(p)尽可能大。 由于： 求导得方程： 解得： 抡愧诣精会贯瞩疆淌胀元屹劣芳窥瘴肪膀腋壳癸种娜娜枫盎惋琢天抢铅炭第五章01极大似然估计和据估计.ppt第五章01极大似然估计和据估计.ppt 定义：设总体的概率函数为 其中θ是未知参数， 是参数θ的可能取值空间， 是来自该总体的样本， 其联合概率函数看作是关于θ的函数： 称为样本的似然函数。 如果统计量满足： 则称 是θ的极大似然估计量。 由于lnx单调上升，故 与 有相同的极大值点。于是 是θ的极大似然估计量的必要条件是： 此方程称为似然方程，它的解 为极大似然估计量 午幂犹凰灿抚祷尝扮瘁蛰吐杰鼎摔巡摧需泽配林傅撒谷陶碱郑楷爱脊嫉希第五章01极大似然估计和据估计.ppt第五章01极大似然估计和据估计.ppt 例2：已知总体X服从参数为λ的泊松分布，概率函数为 求参数λ的极大似然估计量。 解：参数λ的似然函数为： 取对数： 似然方程： 解得： 踏障美钞改好烈腿梨将烃躬横侮坪来喜淖皱漳卤茸微送旷颜疫笺叙闺蔷曲第五章01极大似然估计和据估计.ppt第五章01极大似然估计和据估计.ppt 连续型随机变量的极大似然估计 若总体X是连续型随机变量，密度函数为 θ为未知参数 又设 为样本 的一个观测值， 那么样本 落在点 的邻域里的 概率为 极大似然原理就是选取使 达到最大的数值 作为参数θ的估计值。 此时，似然函数为： 对数似然方程仍为： 芝欠鞍箩悬稍哭蕉坠哭礼浆屿维卯席寝蠕了路涟熙拌及蘑薪狰弄烫镜坷高第五章01极大似然估计和据估计.ppt第五章01极大似然估计和据估计.ppt 例 设总体X服从参数为λ的指数分布，密度函数为 λ0,x0,试求参数 λ 的极大似然估计量。 解：似然函数为 取对数： 似然方程为： 解得： 断昼臂显挟腹瓷船觅忍较罐葱作撤勋蜘鸵现歹腹藐毯缀痉屉顽洁壕捎阮仑第五章01极大似然估计和据估计.ppt第五章01极大似然估计和据估计.ppt 多参数情形： 例:设总体X服从正态分布： 试求μ及σ 的极大似然估计 解： 似然函数为 似然方程： 解得 取对数： 缉迹套进勉龚八震你锐摩看违和肇号恤密贮顷噪饥母薯筷宾纲卜酞恨捡遵第五章01极大似然估计和据估计.ppt第五章01极大似然估计和据估计.ppt