统计决策与贝叶斯估计.pptx

1、统计决策; 2 决策空间（判决空间） 对于任何参数估计，每一个具体的估计值，就是一个回答，称为一个决策，一个统计问题中可能选取的全部决策组成的集合称为决策空间，一个决策空间至少应有两个决策。 3 损失函数 统计决策的一个基本假定是，每采取一个决策，必然有一定的后果，统计决策是将不同决策以数量的形式表示出来 ;常见的损失函数有以下几种 （1）线性损失函数 绝对损失函数 （2）平方损失函数 （3）凸损失函数 （4）多元二次损??函数;二、统计决策函数及风险函数 1 统计决策函数 定义3.1 ：定义在样本空间上X，取值于决策空间A 内的函数d(x)，称为统计决策函数，简称决策函数 决策函数就是一个行动方案，如果用表达式处理， d(x)= d(x1,x2,…xn)本质上就是一个统计量; 2 风险函数 决策函数 d(X)，完全取决于样本，损失函数 L(?, d) 也是样本X 的函数,当样本取不同的值x时，决策 d(X) 可能不同，所以损失函数值 L(?, d) 也不同，不能判断决策的好坏，一般从总体上来评价、比较决策函数，取平均损失，就是风险函数 定义3.2 设样本空间，分布族分别为X，F*，决策空间为A，损失函数为 L(?, d), d(X)为决策函数, 为决策函数d(X)的风险函数， R(?, d),表示采取决策d(X)所蒙受的平均损失（ L(?, d)的数学期望） ;优良性准则; 定义3.4 设D={d(X)}是一切定义在样本空间X 上，取值于决策空间A 上的决策函数全体，若存在一个决策函数d*(X)，使对任意一个d(X)都有 则称d*(X)为一致最小风险决策函数，或一致最优决策函数;问题总结;2.贝叶斯估计 ;（1）总体信息:总体分布提供的信息。 （2）样本信息:抽取样本所得观测值提供的信息。 （3）先验信息:人们在试验之前对要做的问题在经 验上和资料上总是有所了解的，这些信息对 统计推断是有益的。先验信息即是抽样（试 验）之前有关统计问题的一些信息。一般说 来，先验信息来源于经验和历史资料。先验 信息在日常生活和工作中是很重要的。; 基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。 ; 贝叶斯学派的基本观点：任一未知量? 都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量? 新的分布—后验分布；任何关于? 的统计推断都应该基于? 的后验分布进行。 ;2)先验分布 利用先验信息的前提 （1）参数是随机的，但有一定的分布规律 （2）参数是某一常数，但无法知道 目标：充分利用参数的先验信息对未知参数作出更准确的估计。 贝叶斯方法就是把未知参数视为具有已知分布的随机变量，将先验信息数字化并利用的一种方法，一般先验分布记为?(? );3)贝叶斯公式的密度函数形式(后验分布） ;?0 是未知的，它是按先验分布?(? )产生的。为把先验信息综合进去，不能只考虑?0，对?的其它值发生的可能性也要加以考虑，故要用?(? )进行综合。这样一来，样本x1 , …, xn和参数? 的联合分布为: f (x1, x2 , …, xn, ? ) = q(x1, x2 , …, xn?? )?(? )， 简记为 f (x, ? ) = q(x?? )?(? ) 这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了；;在有了样本观察值 x1, x2 , …, xn 之后，则应依据 f (x,? )对? 作出推断。由于 f (x, ? ) =h(? ? x1,x2 ,…,xn )m(x1,x2 ,…,xn)， 其中m(x1,x2 ,…,xn) 是x1, x2 , …, xn 的边际概率函数，它与? 无关。因此能用来对? 作出推断的仅是条件分布h(? ? x1, x2 , …, xn)，它的计算公式是 ; 这个条件分布称为? 的后验分布，它集中了总体、样本和先验中有关? 的一切信息。 ;4）共轭先验分布;当给定样本的分布（似然函数）q (x |