参数估计与最大似然法 - 清华大学.ppt

粒子物理与核物理实验中的数据分析 杨振伟 清华大学 第七讲： 参数估计的基本概念 最大似然法（一） 上一章回顾 统计检验目标 统计检验量的构造思路 统计检验的方法论 统计检验的评价 * * * * 本讲要点 估计量，均值，方差与协方差的估计量 似然函数，最大似然估计量 指数与高斯概率密度函数的参数确定举例 最大似然估计量的方差 不等精度观测结果的并合 * * 再论统计分析的目标 统计检验的目标 既包含检验假设， 也包含对假设中可能存在的参数进行无偏估计。 但是，实际问题中往往是如何在有限样本的条件下，给出无偏的参数估计（包括平均值、方差和协方差），尤其是参数本身并不是直接观测量的情况。 如何构造参数估计量问题 对参数估计量的评估问题 对参数的有效估计问题 * * 无参数下的测量均值与方差估计 考虑对一随机变量 x 进行 n 次独立测量 样本大小为 n 等效为一个 n 维矢量的单次独立实验 由于 xi 相互独立，因此样本的联合概率密度函数可表示为： 任务：从一数据样本中推断 f (x) 属性 构造数据的函数，以便估计 f (x) 各种属性， 包括平均值，方差，…等等。 * * 含参数情况下如何估计 通常情况是首先给出 f (x) 的假设形式，其中包含未知参数? 利用 f (x,? ) 的给定形式和数据样本来估计参数? 利用 n 次独立测量 x 来估计参数? 的过程称为参数拟合。 每次实验给出 ? 的估计是满足pdf分布 的随机变量。 * * 参数估计量的构造与收敛性 没有一个完美无缺的办法去构造估计量 构造估计量是为了满足某些与假设不相符而设立的判别条件。 例如，随着样本的增大，估计值收敛于真值： 首先是要求符合的程度 * * 估计量的偏置问题 对于大统计量，我们将有 均方差 * * 一般来说，在方差与偏置之间存在平衡点 通常要求在零偏置的估计量中，对应的方差达到最小。 为了衡量估计量的好坏，有时会考虑其与真值 ? 的均方差 * * 平均值的估计量与大数弱定理 考虑物理量 x 的 n 个测量 x1,…,xn，我们不知道对应的 pdf，想构造一个xi 的函数来估计x 的期待值，一个可能为 (样本的平均值) 这就是大数弱定理。计算期待值 * * 平均值的评估量（方差） 对平均值的评估可以用平均值的方差来估计， * * 例一：均值的测量精度 Phys. Rev. Lett. 33, 1404 (1974) 在丁肇中发现 J/? 粒子的实验中 测量到 25 个 J/? ? e+e- 事例， 装置的质量测量精度 ?m/m=1%， 质量分布中的平均质量是3.1GeV。 但是，如果测量的质量分布与装置 的测量精度相同，可以得到 装置的质量测量精度 问题：结果应该报告为 * * 例二:平均值的估计量与评估量 指数分布蒙特卡罗样本 n=100，寿命真实值为 μ=1, N(0,1)。 重复104次，每次都是n=100，把每一次样本的平均值填入直方图 * * 方差的估计量 假如平均值 ? 和方差 V[x]=? 2 都是未知量，样本的方 差定义为 这里因子 1/(n-1) 使得 E(S2) = ? 2，即无偏的。 假如 ?=E[x] 作为先验已知（例如某种假设的预期值），则 它们给出了 ? 2 的一个无偏估计量。可以计算 s2 的方差 可以利用下式可估计 ?k * * 协方差与相关系数的估计量 为了估计协方差 Vxy=cov[x,y] , 利用 (是无偏的) 此时的 r 有系统偏置。但是当 n?? 时，该偏置将趋于零。 一般而言，概率密度函数 g(r,?,n)形式较复杂；对于高斯分 布量 x,y * * 最大似然法 前面给出了在不知道概率密度函数 pdf 的情况下，如果没有未知参数，如何从有限的数据样本中，估计出随机变量的期待值、方差与相关系数。 如果已经知道概率密度函数 pdf 的具体形式，但是函数中包含有未知参数，如何从有限的样本中估计未知参数的期待值、方差与相关系数… 参数估计与最大似然法 * * 参数估计量好坏的三个标准 符合程度(一致性) 偏置大小(无偏性) 方差大小(有效性) * * 参数估计与概率大小的关系 如果假设(包括? 的取值)为真 可以预料会使观测结果具有高的概率。 如果假设的? 取值远离真值 会使观测结果具有低的概率。 * * 似然函数 在经典统计理论里，L(? )并不是? 的概率密度函数。 根据参数好坏与概率大小的关系，可以认为真实的? 应使得 下式定义的似然函数 有大的数值。 * * 最大似然估计量 取最大值 有时候 L(? ) 可以有好几个极大值 注意，1）该方法利用了所有信息，与如何划分数据分布区间无关；