西安工业信号检测与估计SDE_14 ch10 贝叶斯原理.pptVIP

05-02-29 SDE_09 MLE Ch10 贝叶斯原理Chapter 10 Bayesian Philosophy 雷 gropemind@163.com 10.1 引言 Introduction 贝叶斯方法 Bayesian Approach:利用经验 经验告诉我们：可能的取值范围 －A0~A0 我们必须估计的是其特定的一个现实 A 先验知识的应用举例1 在测量电池电压时遇到了一个较大的噪声---打雷干扰了测量 先验知识的应用举例2 背景：观测值是概率密度的一个样本； 样本数量少时一切皆有可能 运用贝叶斯方法的原因之一 通过经验成分（先验知识），应用贝叶斯方法时可以改善估计精度。 运用贝叶斯方法的原因之二 当噪声很大，而观测次数有限的情况下。 找不到可用的MVU估计量，贝叶斯估计很有用。 Review: Results for Two Random Variables 联合概率密度Joint PDF of RVs X and Y 联合概率密度函数 两RV函数的期望值Expected Value of Functions of X and Y 条件概率 Conditional PDF of Two RVs 条件概率 Conditional PDF cont. the conditional PDFs are defined as (.slice截面 and normalize归一化.): 条件期望 For conditional expectations… one idea but several notations! Independence 统计独立: 分解联合期望 Decomposing Joint Expectations: Ex. 分解联合期望 10.3 先验知识和估计 先验知识和后验概率 PDF 先验知识：信号S（或待估参量θ ）的分布情况 观测：x[n] 显然，x的分布情况与θ 有关 先验概率：待估参量θ 取一个值后， x的分布情况。 比如，电压为5V，观测因噪声影响，观测x的PDF 后验概率：得到观测数据x后，待估参量θ 的可能情况。 比如，观测到一组数据分别是3、4、5、2、6、4、5、8V，电压可能的PDF 先验概率 ( Prior probability) 先验概率是在缺乏某个事实的情况下描述一个变量; 而后验概率是在考虑了一个事实之后的条件概率. 先验概率通常是经验丰富的专家的纯主观的估计. 比如在法国大选中女候选罗雅尔的支持率 p, 在进行民意调查之前, 可以先验概率来表达这个不确定性. 事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 后验概率 ( posterior probability) Def: Probability of outcomes of an experiment after it has been performed and a certain event has occured. 事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率. 后验概率可以根据通过Bayes定理, 用先验概率和似然函数计算出来. 下面的公式就是用先验概率密度乘上似然函数,接着进行归一化, 得到不定量X在Y=y的条件下的密度,即后验概率密度。 Bayes’ Rule 贝叶斯准则: 10.3 先验知识和估计 10.3 先验知识和估计 然而，如果比较两种估计量的MSE，我们会注意到，对于区间 上任何A， 10.3 先验知识和估计 寻找一种估计量 ,使如下定义的贝叶斯最小 A是一个随机变量，所以期望运算是联合PDF P（x，A）求取的，这是MSE与经典估计本质上的不同。为了表示区别，我们采用符号Bmse。 10.3 先验知识和估计 10.3 先验知识和估计 我们推导使贝叶斯MSE最小的估计量。 首先，应用贝叶斯原理，可写出： 所以 由于对于所有的x而言有 ，如果括号内的积分对每一个x能够最小，那么贝叶斯MSE最小。 10.3 先验知识和估计 10.3 先验知识和估计 因为条件PDF积分必须等于1。可以看出使贝叶斯MSE最小的最佳估计量是后验PDF 的均值。 后验PDF是指得到观测数据后A的PDF。与此相对，P(A)或者 10.3 先验知识和估计 今后我们称贝叶斯MSE最小的估计量为最小均方误差（MMSE）的估计量。 观测数据影响 10.3 先验知识和估计 在确定MMSE估计量时，我们首先需要后验PDF。可以利用贝叶斯规则确定后验PDF 10.