2第二章-统计推断与贝叶斯预测.pptVIP

第二章 统计推断与贝叶斯预测 2.1 引言与导学 2.2 贝叶斯估计基础 ---想法 2.3 贝叶斯估计---评价 2.4 期望-最大方法 ---算法 2.5 高斯混合模型的设计---算法 2.6 贝叶斯分类 ---应用 2.7 随机过程空间的建模---提高 2.1 引言与导学 本章首先给出一个关于参数估计理论基本概念的介绍。（想法） 然后介绍用于定量评价估计量性能的统计测度。我们主要研究贝叶斯估计方法，考虑在估计均值与方差中使用先验模型的效果。（评价） 研究从不完整数据中估计一组未知参数的期望最大（EM）方法，并将其应用于连续随机变量的高斯混合模型空间。（算法） 本章最后以离散或有限状态信号的贝叶斯分类结束，并介绍K-均值聚类方法。 本章思路：想法---算法---评价---应用 音乐信号的分离 GMM的例子 例 ：一个班级每个学生的身高为 假设男生和女生的身高分别服从高斯分布 则 其中 为男生的比例， 问题：给定独立同分布(independent and identically distributed----IID)的数据 ，求参数 混合模型的参数估计是EM(Expectation Maximization)算法最典型的应用 2.2 贝叶斯估计基础 估计理论主要研究从观测信号中最优地估计出参数矢量的问题，或者研究从被噪声污染或退化的信号中恢复出纯净信号的方法。 例如，给定一个正弦信号波形，我们可能需要估计其基本参数（如幅度、频率和相位），或者我们可能希望恢复信号本身。 2.2 贝叶斯估计基础 估计量通常以带噪信号或不完整观测作为输入，并且采用动态模型（如线性预测模型）和/或过程的概率模型（如高斯模型）来估计未知的参数，即估计量是一个系统，而被估计的参数是此次系统的输出。 估计的精度取决于可以使用的信息和估计方法的有效性。 本章主要研究平稳参数的贝叶斯估计问题。关于非平稳有限状态过程的建模与估计问题将在下面的章节研究。 2.2 贝叶斯估计基础 贝叶斯理论是一个基本的统计推断框架。在过程状态的估计与预测中，贝叶斯方法主要利用两种信息: 其一是包含在观测信号中的事实; 其二是过程分布的先验知识。 图2.1给出了贝叶斯方法作为主要统计估计方法的基本框架。 2.2 贝叶斯估计基础 2.2.1 估计的动态模型和概率模型 最优估计算法常采用观测信号的动态模型和概率模型。 动态预测模型利用信号的相关结构信息，根据信号的过去状态和输入激励对信号当前值与将来值的依赖关系进行建模。采用动态模型进行估计的例子包括线性预测模型和卡尔曼滤波器。 统计概率模型依据均值和方差这样的统计量来表现信号随机波动空间的特性，为了描述得更完整，则需要采用概率模型。条件概率模型除了对信号的随机波动建模以外，也用于表示信号对其过去状态和其他过程的依赖情况。 动态模型和概率模型可以进行组合：例如，一个有限状态模型可以通过隐马尔可夫模型（HMM）和卡尔曼滤波器的组合来构造。 随机过程的预测模型和概率模型引导估计结果朝着与模型参数和观测信号的先验分布相一致的方向发展。 一般来说，只要所使用的模型能够准确代表观测数据和参数过程的特征，则估计中所使用的信息量越多，估计的结果会越好。 其缺点是，如果模型是不准确的，则所引起的负面效应要超过其正面效果。 2.2.2 参数空间与信号空间 2.2.3 参数估计和信号恢复 参数估计和信号恢复是密切相关的两个问题。 二者的主要区别是大多数信号往往波动较快，而大多数参数则波动较慢。 例如，语音信号的波动速率大约为20kHz，而相应的元音和谐音参数的变化速率则仅为100Hz。这个现象表明，在参数估计时可以比信号恢复时进行更多的平均操作。 作为一个简单的例子，考虑零均值随机噪声中的一个观测信号。假定我们希望估计： （a）纯净信号的平均值； (b) 纯净信号本身。 随着观测时间的增长，信号均值的估计会逐渐逼近纯净信号的均值，而纯净信号样本的估计则取决于信号的相关结构和信噪比，并取决于所采用的估计方法。 2.2.4 性能测度与所希望的估计性能 2.2.4 性能测度与所希望的估计性能 不同的参数估计会得到不同的结果，这主要取决于所采用的估计方法、所利用的观测数据和所利用的先验信息。 由于观测所具有的随机性，即使是相同的估计量，如果选用同一过程中不同的观测数据，也会产生不同的结果。 因此，估计结果本身是一个随机变量，也具有均值和方差，也可以用概率密度函数来描述。然而，在大多数情况下，根据估计误差的均值和方差来确定一个估计量的特性就足够了。 对于估计量最常用的性能测度为： 2.2.4 性能测度与所希望的估计性能 2.2