《模式识别与机器学习》ch03 概率密度函数的估计.pptxVIP

概率密度函数的估计第三章模式识别与机器学习新工科建设·人工智能与智能科学系列教材 01引言 第2章介绍了基于贝叶斯决策理论的贝叶斯分类方法，而贝叶斯决策理论的基础是概率密度函数的估计，即根据一定的训练样本来估计统计决策中用到的先验概率P（ωi）和类条件概率密度p（x|ωi）。其中，先验概率的估计比较简单，通常只需根据大量样本计算出各类样本在其中所占的比例，或者根据对所研究问题的领域知识事先确定。引言 因此，本章重点介绍类条件概率密度的估计问题。这种先通过训练样本估计概率密度函数、后用统计决策进行类判定的方法，称为基于样本的两步贝叶斯决策。引言 这样得到的分类器性能与第2章中的理论贝叶斯分类器有所不同。我们希望当样本数N→∞时，基于样本的分类器能收敛到理论结果。引言 02最大似然估计 最大似然估计基础最大似然估计（Maximum Likelihood Estimation）的思想是，随机试验有若干可能的结果。如果在一次试验中出现了某一结果，就认为这一结果出现的概率较大，进而假设该结果是所有可能出现的结果中最大的一个。最大似然估计 我们将待估计的参数记为θ，它是确定但未知的量（有多个参数时，其为向量）。共有c个类，每个类的样本集记为xi，i=1，2…，c，样本都是从密度为p（x|ωi）的总体中独立抽取出来的，即满足独立同分布条件。最大似然估计 类条件概率密度p（x|ωi）具有某种确定的函数表达式，只是其中的参数θ未知。为了强调概率密度中待估计的参数，也可将p（x|ωi）写为p（x|ωi，θi）或p（x|θi）。各个类的样本只包括本类的部分信息，即不同类的参数是独立的，这样就可单独处理每个类。最大似然估计 正态分布下的最大似然估计首先考虑正态分布下仅有一个参数未知的情况。假设参数μ未知，对于单变量（样本特征只有一个维度）的正态分布来说，其分布密度函数为最大似然估计 在这样的条件下，我们假设一个样本点xk，则有对上述对数似然函数求导得最大似然估计 对于有N个样本点的样本集来说，对μ的似然估计值^μ的最大似然估计必须满足整理得最大似然估计 03贝叶斯估计与贝叶斯学习 贝叶斯估计贝叶斯估计（Bayesian Estimation）是概率密度估计的另一种主要参数估计方法。其结果在很多情况下与最大似然法的相同或者几乎相同，但是两种方法对问题的处理角度是不同的，在应用上也各有特点。贝叶斯估计与贝叶斯学习 似然估计将参数当作未知但固定的量，并且根据观测数据估计该量的取值。而贝叶斯估计将未知参数视为随机变量，并且根据观测数据和参数的先验分布来估计参数的分布。贝叶斯估计与贝叶斯学习 在用于分类的贝叶斯决策中，最优条件是最小错误率或最小风险。在贝叶斯估计中，我们假设将连续变量θ估计成^θ的损失为λ（^θ，θ），也称损失函数。贝叶斯估计与贝叶斯学习 正态分布下的贝叶斯估计下面以一维正态分布模型为例来说明贝叶斯估计的应用。假设σ2已知且均值μ的先验分布为正态分布N（u0，σ20）。x的分布密度可以写为贝叶斯估计与贝叶斯学习 μ的分布密度为求得μ的后验概率分布为上式的分母部分是归一化的常数项，记为a。贝叶斯估计与贝叶斯学习 贝叶斯学习已知各个类的训练样本子集X={x1，x2，…，xN}，每次训练试验都是独立进行的，类ωi的参数与类ωj的样本无关。已知类概率分布密度函数p（x|θ），但是参数向量θ未知（θ属于某个类）。贝叶斯估计与贝叶斯学习 关于未知参数θ的一般性信息包含在其先验分布密度p（θ）中。关于未知参数θ的其余信息要从训练样本集X中提取。贝叶斯估计与贝叶斯学习 贝叶斯学习和贝叶斯估计联系密切，但贝叶斯学习最关心的不是某个具体参数的估计，而是获得后验分布密度p（x|X）。具体地说，在贝叶斯估计的4个步骤中，贝叶斯学习要执行前三个步骤，得到未知参数的后验分布p（θ|x）后，不必真正求出^θ，而直接求后验分布密度p（x|X）。贝叶斯估计与贝叶斯学习 04EM估计方法 EM算法期望最大化（Expectation Maximization，EM）算法是当数据存在缺失时，极大似然估计的一种常用迭代算法，因为它操作简便、收敛稳定，并且适用性很强。EM 算法主要在如下两种情况下估计参数：①由于数据丢失或观测条件受限，观测数据不完整；②似然函数不是显然的，或者函数的形式非常复杂，导致难以用极大似然法进行估计。EM估计方法 EM算法采用启发式的迭代方法。既然无法直接求出模型分布参数，那么可以首先猜想隐含数据（EM算法的E步），接着基于观测数据和猜测的隐含数据来极大化对数似然，求解模型参数（EM算法的M步）。EM估计方法 因为之前的隐藏数据是猜测的，所以此时得到的模型参数一般还不是可行的结果。基于当前得到的模型参数，继续猜测隐含数据（EM 算法的E步），接着继续极大化对