EM和HMM算法理论及在图像分割和场景分析中的应用.pdf

摘要 摘要 Maximization)和隐马尔可 本论文研究最大似然法估计的期望最大算法(EM．Expectation 夫模型(HMM．HiddenMarkovModels)的理论及其在图像分割和场景分析中的应用。对EM Mixture 算法和高斯混合分布模型(GMM．GaussianModel)，HMM的理论及其在一些具体的领 域的应用进行了深入的研究，其主要创新点如下： 1、提出基于特征的EM算法。通常的EM算法是基于样本的算法。本文提出利用基于特 征的EM算法而不是用基于样本的EM算法来求解最大似然问题，可以加速计算。针对标准 EM算法进行聚类运算时以单个样本点为对象的特点，本文根据样本特征频数，计算直方图， 在此基础上提出了进行特征聚类估计的快速EM算法。在有限混合分布中，采用基于特征的 EM算法和基于样本的EM算法从本质上说是等价的：但是就算法的速度而言，在一定条件下， 前者相对于后者来说要快得多。再加上其他措施，算法的效率更有明显的提高。这在一定程度 上弥补了EM算法和最大似然法直接迭代法收敛速度慢的缺点。实验结果证明了该方法在速度 上的优越性。 2、指出直接迭代法本质上是广义EM算法。文中的直接迭代法是指通常在无监督学习中 110l[81【141l【551 采用迭代法来求解有限混合分布参数的最大似然估计。在所有国内外经典的教材‘831 中，直接迭代法被广泛涉及，但它的收敛性一直未得到讨论和验证，形成了一个空白，因此限 制了它的使用。而直接迭代法与EM算法关系更是几乎没有提及。本文比较了在无监督学习中 用最大似然法估计有限混合分布的未知参数情况下，通常采用迭代法求解最大似然估计与EM 算法公式的相同与差别之后，利用EM算法的性质来证明在这种情况下直接迭代法是一种广义 EM算法。此时直接迭代法具有EM算法的收敛特性和自动满足约束的特性，能够自动增大对 数似然，在一定条件下保证收敛到一个局部最优值。这对关于它的描述进行了有效的补充。 3、提出基于“渐近等同分割性”原理的熵先验为基础的最小熵方法。最小熵方法【13l】是近 年来在研究“交叉熵”基础上提出来的新方法，但其中“熵先验”的说明比较复杂。本文提出 基于“渐近等同分割性【1421”(AEP-Asymptotic EquipartitionProperty)的原理说明‘‘熵先验”， 使熵先验问题更加明确。本文结合最小熵理论，引出一个在隐变量概率模型中同时学习模型的 计将熵的和最小化，从各方面减小不确定性，删减多余的参数，得到参数趋于精确并较好地支 持数据结构的模型。本文还发展了新型的HMM，用于解决每时间步具有可变长度观察矢量的 摘要 问题；采用熵MAP估计进行训练，可以降低分布的冗余和除去噪声，留下的隐状态与图像序 列中实际物理过程高度相关。应用于交通视频的模式发现时，采用连续两帧间光流表作为数据， 通过新型的HMM结合基于熵的MAP估计学习景物活动的模式，得到简洁的、可解释的、可 预测的模型。 4、将EM收敛的过程进行图形解释，EM算法包含形成辅助函数的E步和使其最大化的 M步的过程，通常是数学形式表示，缺乏直观视觉形式。本文将EM收敛的过程进行图形解释。 生动地显示了EM算法的辅助函数保证迭代过程是一个对数似然函数单调增大的过程。图形还 表示了EM算法是获得最大似然法估计解的可行方法。 5、提出EM算法用于灰度图像——车辆牌照和医疗图像分析的实例。本文将EM算法用 于灰度图像的灰度和邻域均值两维特征空间的参数估计。文中成功地运用EM算法的相关理论 来完成车辆牌照、医疗图像的分割，并对算法做出改进(直方图扩展、增加分类数)，用于解 决实际中碰到的问题。我们的系统用基于特征的EM算法和GMM来求得图像总体分布的近似， 之后用统计模式识别的Bayes分类器进行最优分类，根据估计得到的图像总体的分布密度函数， 使用准则函数把图像中的各个像素分到目标和背景两个分量(类别)中。 6、提出EM算法用于彩色图像——医