西安工业信号检测与估计SDE_14 ch10 11 12 贝叶斯估计.pptVIP

05-02-29 SDE_15 一般及线性贝叶斯估计 贝叶斯估计 Bayesian Estimators Chapter 10 Bayesian Philosophy Chapter 11 General Bayesian Estimators Chapter 12 LinearBayesian Estimators 雷斌 gropemind@163.com 10.1 引言 Introduction 贝叶斯方法 Bayesian Approach:利用经验 经验告诉我们：可能的取值范围 －A0~A0 我们必须估计的是其特定的一个现实 A 先验知识的应用举例1 在测量电池电压时遇到了一个较大的噪声---打雷干扰了测量 先验知识的应用举例2 背景：观测值是概率密度的一个样本； 样本数量少时一切皆有可能 运用贝叶斯方法的原因之一 通过经验成分（先验知识），应用贝叶斯方法时可以改善估计精度。 运用贝叶斯方法的原因之二 当噪声很大，而观测次数有限的情况下。 找不到可用的MVU估计量，贝叶斯估计很有用。 10.3 贝叶斯准则：先验知识和估计 10.3 先验知识和估计 今后我们称贝叶斯MSE最小的估计量为最小均方误差（MMSE）的估计量。 观测数据影响 先验概率 ( Prior probability) 先验概率是在缺乏某个事实的情况下描述一个变量; 而后验概率是在考虑了一个事实之后的条件概率. 先验概率通常是经验丰富的专家的纯主观的估计. 比如在法国大选中女候选罗雅尔的支持率 p, 在进行民意调查之前, 可以先验概率来表达这个不确定性. 事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 后验概率 ( posterior probability) Def: Probability of outcomes of an experiment after it has been performed and a certain event has occured. 事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率. 后验概率可以根据通过Bayes定理, 用先验概率和似然函数计算出来. 下面的公式就是用先验概率密度乘上似然函数,接着进行归一化, 得到不定量X在Y=y的条件下的密度,即后验概率密度。 10.3 先验知识和估计 总结 参数估计的贝叶斯方法假设要估计的参数是随机变量θ 的一个实现。这样，对它指定一个先验PDF 。在观测到数据后，后验PDF 概括了对这个参数的了解情况。对θ 的所有现实和x，使平均MSE最小的估计量定义为最佳估计量，即所谓的贝叶斯MSE。 10.4 选择先验PDF 但：当数据记录长度N增加时，后验PDF变得更窄。这是因为 10.4选择先验PDF Choosing a Prior PDF Choice is crucial关键: 1.Must be able to justify it physically与物理特性一致 2.Anything other than a Gaussian prior will likely result in no closed-form estimates除高斯分布，均很难获得闭合解 We just saw that a uniform格式 prior先验 led to a non-closed form We’ll see here an example where a Gaussian prior gives a closed form So? there seems to be a trade-off between:在两者之间均衡：接近真实情况 or 得到闭合解 Choosing the prior PDF as accurately as possible尽可能精确 Choosing the prior PDF to give computable closed form 10.4 选择先验PDF 我们看到贝叶斯MSE恰好是后验PDF的方差对x的PDF取平均。 定理10.3贝叶斯一般线性模型得后验PDF Ch11 一般贝叶斯估计量Chapter 11 General Bayesian Estimators 11.1 引言 Introduction 11.3风险函数 Risk Functions 一般贝叶斯法则 General Bayesian Criteria 代价函数的选择The choice of the cost function The choice of the cost function can be tailor