最大似然法-清华大学.ppt

粒子物理与核物理实验中的数据分析 杨振伟 清华大学 第八讲： 最大似然法（续） 上一章回顾 估计量，均值，方差与协方差的估计量 给出了在不知道概率密度函数 pdf 的情况下，如果没有未知参数，如何从有限的数据样本中，估计出随机变量的期待值、方差与相关系数。 讨论了偏置问题 似然函数，最大似然估计量 如果已经知道概率密度函数 pdf 的具体形式，但是函数中包含有未知参数，如何从有限的样本中估计未知参数的期待值、方差与相关系数… 基于假设为真时，会使观测结果的概率最大，构造似然函数的方法 指数参数确定举例 * * * * 高斯概率密度函数中的参数 考虑一个样本服从高斯概率密度函数，其参数 ? ，? 2 未知。 其对数似然函数为 对 ? ，? 2 偏微分后的函数取零，解方程得到 取“帽”号表示方程的解是参数的估计值。 高斯函数参数估计值的偏向性 * * 因此， ? 2 的最大似然估计量有偏向性。这种偏向性随 n 趋 于无穷大时而消失。但是方差的统计估计量 对任何概率密度函数的方差估计都是无偏的。但是它不是最大似然估计量。 * * 估计量的方差：解析方法 指数分布平均值的估计量为： * * 估计量的方差：解析方法(续) 最大似然法对 ? 的估计为1.062； 通常情况下，“统计误差”由上式给出。例如， 这就意味着 “68%的置信区间” * * 估计量的方差：蒙特卡罗方法 Nexp=1000 蒙特卡罗实验可给出标准偏差 * * RCF边界问题(信息不等式) 任何估计量(不仅仅是最大似然法)的方差下界为 也称为 Rao-Cramér-Frechet 不等式(信息不等式)。 通常假设上述结论为真，利用RCF边界估计 ( b为偏置) 最大似然估计量对大的样本统计量 n 几乎总是有效的。 * * RCF边界问题(续一) 已知 b = 0，所以 =真的方差 有效估计量的 方差正比于1/n 例如，对于前面的指数概率密度函数的例子，我们可以得到 * * RCF边界问题(续二) 对于只有一个参数的情况，可以得到 通常求 logL 的最大值是通过数值计算来完成，二阶导数的 矩阵(也就是Hessian矩阵)是通过有限差值来估计。 调用 CERN 的 MINUIT 软件包中的 HESSE 程序 * * 估计量的方差: 图解法 也就是 指数函数例子 双参数拟合 * 用数值解找到 log L 的最大值 协方差 “误差”： 由联合概率密度得到样本的似然函数 (MINUIT HESSE) 注意：拟合中采用的是点拟合，与直方图的区间大小划分无关。 双参数拟合结果的蒙特卡罗检验 * 做500次模拟实验，重复最大似然拟合，每次都是模 拟 n=2000 个事例，并利用教材5.2节中的估计得到 边缘概率密度函数 近似为高斯分布。 双参数拟合的 log L 等高线形式 * 在前面蒙特卡罗样本中，其中的一次拟合结果在 ?，? 平面表示为 对于大的样本容量 n， log L 具有下列形式： log L 等高线对应的方差 * 等高线 log L(?,?)=log L max – ? 是由下式定义得到的 其中，等高线的切线给出了标准偏差 椭圆的倾角与相关系数有关 注意：参数之间的相关性体现在对估计量的误差或方差方面的影响(或偏大或偏小)。 推广的最大似然法 * 到目前为止，只考虑了固定样本大小 n 的情形，有 时候，n 被看作泊松分布的随机变量，平均值为?。 则推广的似然函数为 推广的最大似然法： 独立 * 可以将其分解成单独求 ? 与 ? 估计值问题。 例如：是信号与本底分量的叠加。 推广的最大似然法： 独立(续) * 根据概率的定义可知并非所有的 ? i 独立，因此有 在推广的最大似然法中 定义 ? i =?? i μj 为类型 j 的事例数期待值。 n 为观测事例总数。 如果联合概率密度函数可以表示为 非物理结果问题 * 假设有两类事例：信号 (s) 与本底 (b) 问题：如果出现负值，应该如何报告结果？ 最大似然法处理分区数据 * 如果样本的联合概率密度函数( ntot 为常数)为 通常称为“对直方图拟合”。 在某种假设下，有期待值 例子：指数分布 * 指数分布例子 当区间宽度为零时， 如果 ni 是泊松随机变量，有推广的对数似然函数 两者结果吻合。点 估计结果误差较小。 直方图拟合 点估计 分区处理数据的问题 * 分区处理数据有时会因区间宽度过大而造成部分信息 丢失影响到参数的估计。例如 因此，对直方图拟合，一定要确认区间的大小对结果无明显影响。注意：区间无穷小时，与点估计结果一致。 ? ? * * 不等精度观测结果的并合 如果 (x1,…, xn) 是对同一固定量 ? 的 n 个不等精度测量值，对