极大似然估计思想引入.ppt

点估计的极大似然估计法(maximum likelihood) (p13) 引例： 我与一位猎人一起外出打猎，一只野兔从 前方窜过，只听得一声枪响，野兔应声倒下 答 ：极有可能是猎人. 问 是谁打中的呢？ 显然：候选人就两个，我和猎人。若选择我，则事件野兔打中的发生概率为0.01％；若选择猎人，则事件发生的概率为99％。而事件已经发生，因此选择猎人更为合理。 极大似然估计的基本思想 设总体中含有待估参数θ ，它可以取很多值。已经知道了样本观察值（引例中为已经知道兔子OVER了一样），从θ的一切可能值中（引例中为我和猎人）选出一个使该观察值出现的概率为最大的值，做为θ的估计值，称为极大似然估计值（极大似然：顾名思义，就是看上去最大可能的意思。） 简单历史 The method of maximum likelihood was first proposed by the German mathematician C.F.Gauss in 1821. However, the approach is uaually credited to the English statistician R.A.Fisher who rediscovered the idea in his 1922 paper “On the mathematical foundations of theoretical statistics” and first investigated the properties of the method. 7-29 例 1 设有一批产品, 根据以往的经验知道它的 产品率 p 可能是 0.1 或 0.3. 生产这批产品的厂家 认为该批产品质量很好, 次品率大约为 0.1,而收 购产品的商业部门认为产品质量有问题, 次品率 可能为 0.3. 现从这批产品中随机抽取 15 件,发现 有 5 件次品. 问: 生产厂家与收购部门谁的估计 更可靠些 ? 解 引入似然函数 离散型： 总体 X 为离散型，概率函数为f(x; ?), 即P(X=x)＝ f(x; ?)。 X1， X2，… Xn 为其一个样本，则每个分量独立同分布（iid)，概率函数为f(x; ?), 联合密度函数为fn(x; ?) X1， X2，… Xn 取到 x1, x2,…, xn 的概率为 即要选取参数? 的估计值，使得 成立。 称L(? )称为样本的似然函数。极大似然思想就是在容许的范围内选择 ? ，使L(?)最大。 记为 7-29 例 1 设有一批产品, 根据以往的经验知道它的 产品率 p 可能是 0.1 或 0.3. 生产这批产品的厂家 认为该批产品质量很好, 次品率大约为 0.1,而收 购产品的商业部门认为产品质量有问题, 次品率 可能为 0.3. 现从这批产品中随机抽取 15 件,发现 有 5 件次品. 问: 生产厂家与收购部门谁的估计 更可靠些 ? 用似然函数来重新求解例1 注意到，ln L(? )是 L 的单调增函数，故 若某个?使ln L(? )最大，则这个? 必使L(?)最大。 称ln L(? )是 样本对数似然函数，因其比似然函数容易求解，故常常通过求解ln L(? )最大，来求? 估计值。 称L(? )称为样本的似然函数。极大似然思想就是在容许的范围内选择 ? ，使L(?)最大。 由数学分析知识可知，可以通过 来求解 。 或者 例2：英语六级未通过率 某理工大学的学生在毕业时尚未通过六级的比率为 p，现从中随机抽取100人调查其档案，发现其中有10人六级没过，试用极大似然法估计总体参数 p。 解：若六级通过用“0”表示，未通过用“1”表示，则总体X 的分布为 则样本观察值的联合分布（似然函数）为 两边取对数得对数似然函数为： 解得：