哈尔滨工业大学-模式识别课程-3. 概率密度函数估计3学时.pptVIP

国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 完整似然函数 若隐含变量 的值已知，得到完整数据的log似然函数为： 【4 EM算法举例】 步骤1. EM—Expectation 观测数据X已知，参数的当前值 已知，在完整似然函数中，缺失数据(隐含变量) Y未知，完整log似然函数对Y求期望。 定义 其中 是待确定的参数 通过求期望，去掉了完整似然函数中的变量Y。即EM的E步。 【4 EM算法举例】 步骤2. EM—Maximization 对E步计算得到的完整似然函数的期望求极大值（EM的M步），得到参数新的估计值，即 每次参数更新会增加非完整似然值 反复迭代后，会收敛到似然的局部最大值 【4 EM算法举例】 EM的收敛性 其中， 当Q取极大值时，观测数据的似然也在相同点取极大值 EM算法会收敛到似然的局部极大值 【4 EM算法举例】 混合模型中的EM算法 完整似然函数： 根据贝叶斯公式，Y的条件分布： 【4 EM算法举例】 混合模型中的EM算法 E步 将完整似然函数和Y的条件分布代入Q函数中，经过复杂的变换得到， M步 求Q函数最大时的参数 反复迭代，直到收敛 【4 EM算法举例】 GMM中的EM算法 高斯分布： 代入高斯分布的密度函数，计算得到如下的迭代公式： 第t次的估计为 则第t+1次的估计为 【4 EM算法举例】 GMM中EM算法的迭代过程 【4 EM算法举例】 本章结束 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 【贝叶斯估计】 【贝叶斯估计】 非参数估计 【基本思想】 令R是包含样本点x的一个区域，其体积为V，设有n个训练样本，其中有k个落在区域R中，则可对概率密度作出一个估计： 相当于用R区域内的平均性质来作为一点x的估计，是一种数据的平滑。 【基本思想】 当n固定时，V的大小对估计的效果影响很大，过大则平滑过多，不够精确；过小则可能导致在此区域内无样本点，k=0。 此方法的有效性取决于样本数量的多少，以及区域体积选择的合适。 构造一系列包含x的区域R1, R2, …，对应n=1,2,…，则对p(x)有一系列的估计： 当满足下列条件时，pn(x)收敛于p (x)： Parzen窗法：区域体积V是样本数n的函数，如： K-近邻法：落在区域内的样本数k是总样本数n的函数，如： 【 Parzen窗法和K-近邻法】 【 Parzen窗法和K-近邻法】 定义窗函数 【 Parzen窗法】 超立方体中的样本数： 【 Parzen窗法】 概率密度估计： 上述过程是一个内插过程，样本xi距离x越近，对概率密度估计的贡献越大，越远贡献越小。 只要满足如下条件，就可以作为窗函数： 【 Parzen窗法】 【 Parzen窗法】 窗函数 hn称为窗的宽度 【 Parzen窗法】 【 Parzen窗法】 保存每个类别所有的训练样本； 选择窗函数的形式，根据训练样本数n选择窗函数的h宽度； 识别时，利用每个类别的训练样本计算待识别样本x的类条件概率密度： 采用Bayes判别准则进行分类。 【 Parzen窗法】 EM (期望最大化)算法 1 EM算法的介绍 2 EM算法依据的理论 3 EM算法的不足和改进的算法 4 EM算法举例 【EM算法】 EM英文叫expectation-maximization，是一种聚类算法。 （即根据给定观察数据自动对数据进行分类） EM算法是Dempster,Laird和Rubin(DLR)三个人在1977年正式提出的，主要是用于在不完全数据的情况下计算最大似然估计。 在EM算法正式提出以来，对EM算法的性质有更加深入的研究，并且在此基础上，提出了很多改进的算法。 EM算法在数理统计，数据挖掘，机器