北航数理统计期末学习笔记.pdfVIP

数理统计学习笔记 1 充分统计量 作业内容参考：1.11、1.12、1.14、1.15 第一次作业的内容全部都是关于充分统计量的。所以我们有必要来聊一聊什么是充分统计量。 但首先，我们还是来扯点儿别的，对数理统计形成一个初步的认识。 对于“不确定性”这个事情，一直以来就分为频率派和贝叶斯派两种观点。 比如频率派通过抛1000 次硬币可以得出硬币是否均匀（或者均匀程度）这样的结论，从「自然」角 度出发，试图直接为「事件」本身建模，认为硬币是否均匀这件事情是确定的，我们要做的只是大量实验 去考察、近似参数，其代表性武器就是大数定律和最大似然估计。 而贝叶斯派则是以观察者的角度看问题，即先验知识可能是“这个硬币是均匀的”，然后做实验去验 证这个结论，比如抛 1000 次只有20 次朝上，最终得到的结论是「先验知识的可信程度」很低。贝叶斯 学派并不试图说「事件本身是随机的」，或者「世界的本体带有某种随机性」，这套理论根本不言说关于 「世界本体」的东西，而只是从「观察者知识不完备」这一出发点开始，构造一套在贝叶斯概率论的框架 下可以对不确定知识做出推断的方法，其代表性武器就是最大后验估计、蒙特卡罗等。 而数理统计与这两派的关系相比大家也都猜到了：贝叶斯学派与频率学派是当今数理统计学的两大 学派，基于各自的理论，在诸多领域中都起到了重要作用。贝叶斯派发展较新，因而人们也将频率学派 称为古典学派，读者若有兴趣可以进一步探究一下贝叶斯这个神奇的人（他其实是个牧师）。 言归正传，「充分统计量」这个概念的产生，就是希望在充分统计量确定之后，决定某个分布的参数 就确定了。具体来说，如果我们对某个分布进行一次采样，得到一系列样本，一般情况下每次采样得到 的一系列样本都是互不相同的，比如某两次采样我们得到 {1,2,4,5} 和 {5,3,3,1}。但我们发现，无论怎样 采样，其内在的一些属性可能是不变的，最简单的比如说均值、方差等，当我们确定了这些量之后，就可 以对参数做出推断，这就是充分统计量的想法。 这个时候你就会问了，这不是大海捞针吗，统计量那么多我怎么知道哪个是？实则不然，这其实是 一件非常「套路」的事情。在介绍套路之前，还要介绍一个定理叫做因子分解定理。 Theorem 1 (因子分解定理) 给一个不那么形式化的定义：一个关于参数 θ 的联合分布 p (x; θ)，都可以被分解为两个部分的乘积。 一个部分是与 θ 无关的 h(x)，是只含随机变量的函数；另一部分是无法被分解的，关于参数 θ 和随机变 量 x 的函数 g (T (x), θ)，其中 T (x) 是仅关于随机变量 x 的函数。 1 我们来举几个栗子，应该就更好理解了。 n )θ−1 栗子 1. 假如我们求出联合概率分布是p (x , x , ..., x ; θ) = θn ∏ x ，那么定理所说的那两部 1 2 n i i=1 分以及T 分别是什么呢？ n ∏ 首先你会看到 xi 这个东西，然而它外边还套着一个 θ − 1 次方，所以这个东西实际上并不能被 i=1 n “分离”出来，所以说这一部分应该归属于T 当中。最终我们应该得到，h = 1，T = ∏ x ，g = θnT θ−1 。 i