作业二贝叶斯估计.docVIP

抛掷一枚硬币，假设出现正面的概率为P，出现反面的概率为1-P，参数P是未知的，为了估计参数P的取值，进行10次随机试验，出现了3次正面，7次反面。根据现在获取的试验数据，如何才能估计出参数P？ 1、【极大似然估计】 极大似然估计的想法和统计物理中导出最概然分布想法是相同，这个想法就是我们所看 到的，就是最可能发生的。以这个想法为基础就能够建立极大似然估计的方法。极大似然估 计包括两个步骤，第一步写出实验数据发生的概率，概率表示中含有待估的未知参数；第二步极大化目标函数，使得目标函数取极值的 ，就是参数的极大似然估计。下面以硬币的问题例具体说明这两个步骤。 第一步写出实验数据 发生的概率。参数在硬币问题中指的是出现正面的概率P，实验数据指的是10次实验中出现了3 次正面和 7 次反面。如果实验中出现 h次正面，t次反面，那么出现该实验结果出现的概率为: 第二步极大化，得到参数的极大似然估计 。由于极大化等价于极大化，可以通过求解的最大值来简化求解过程。 极值条件为： 将=代入极值条件中得 ==0 由等式=0可以求解出使得最大的参数P 这就是硬币正面出现概率的极大似然估计。将结果代入以上公式，可计算出这枚硬币出现正面的概率为P=3/10。 2、【贝叶斯估计】 我们通过极大似然估计得到硬币出现正面的概率是 3/10，但是生活经验告诉我们硬币正反面出现的概率相等都是1/2。到底我们应该相信那个结果呢？一种好的方法就是将生活经验和实验数据两个因素综合在一起考虑，贝叶斯估计很好的做到了这一点。 贝叶斯估计可以分为三个步骤来实现。第一步确定先验，第二步写出似然函数并计算后验，第三步根据后验计算贝叶斯估计。下面通过硬币的例子来说明贝叶斯估计的实现步骤。 第一步 确定先验，我们使用的先验分布是具体是这个样子 其中相当于之前已经进行了次抛掷硬币实验，出现了次正面和次反面。 第二步 写出似然函数并计算后验， 添加归一化系数之后就能得到后验分布 第三步 根据后验计算贝叶斯估计 将后验的具体表达式代入得 代入具体数据，=200，=200，h=3，t=7。 =0.495 我们的先验知识对结果产生了很大的影响，不添加先验时极大似然估计的结果是 p=3/10，添加先验之后，较少的实验数据只对先验做出微小的调整，贝叶斯估计的结果是p = 0.495。可以看出样本较少时先验对结果产生重要的影响，但随着样本量的增加先验的影响逐渐减弱，并且贝叶斯估计的结果趋近极大似然估计的结果。这个结论不仅仅对于硬币问题成立，对于所有的贝叶斯估计，随着样本量的增加先验的影响逐渐减弱，贝叶斯估计趋近极大似然估计。 对以上的讨论做一下总结： 如果样本量小，先验知识又是可获得的，贝叶斯估计能够将先验知识和样本信息整合起来获得更好的效果。 ? 如果样本量较大，先验产生的作用很小，可以忽略。贝叶斯估计趋近极大似然估计，只反应样本信息。