一种基于距离惩罚混合模型分量数估计算法.pdfVIP

一种基于距离惩罚的混合模型分量数估计算法1 1,2 1 1 张大明 ,符茂胜 ,罗斌 1. 安徽大学计算机科学与技术学院，安徽合肥 (230039) 2. 安徽建筑工业学院数理系，安徽合肥 (230022) E-mail: zhang_daming@ 摘要： EM 算法是对有限混合模型进行参数估计的通用算法，然而标准EM 算法所需的混 合分量数实际上往往是未知的。为解决这个问题，本文研究了一种惩罚性最小匹配距离估计 混合分量数的方法，在Greedy EM 算法的框架下，提出一种在混合模型参数估计的同时， 快速、准确估计高斯混合模型分量数的算法。通过仿真实验，验证了该算法的有效性。 关键词：有限混合模型；混合模型分量数；惩罚性最小匹配距离；贪婪EM；Parzen 窗 中图分类号：O 212 1 引言 有限混合模型是对一元以及多元数据进行柔韧性和强有力建模的一种概率统计工具 [1][2] 。基于最大似然估计（Maximum Likelihood Estimation ：MLE ）的EM （Expectation [3][4] Maximization ）算法已经成为有限混合模型参数估计的通用算法 。标准EM算法是假定混 合分量数是已知的，而实际情形中混合分量数往往是未知的。通常在参数估计前或参数估计 过程中选择混合分量数。 传统方法是使用惩罚似然形式的准则，例如 Akaike’s information criterion[5]，它需要对 全部可能的混合分量数进行重复参数估计、考察信息准则，才能确定最优的混合分量数，计 算代价大。近年来，出现了更多有效的混合分量数估计算法。 如Figueried Jain[1]先从某一个大的模型分量开始，采取消灭的（annihilate ）行为逐个 递减混合模型的分量数，但对于一个未知的数据集而言，如何确定这样一个最大分量数是一 个问题。Wang et. al[6]提出逐步SMEM算法，在参数估计的同时，选择模型分量数，然而其 太多的分裂合并操作使得计算量较大[7] 。 [8] [9] Vlassis Likas 和 Verbeek at. al 针对高斯混合模型提出的Greedy EM算法，先从一个 混合分量开始，然后一个接一个插入新分量直至满足某种准则或达到预期最大分量数，计算 速度快，且避免了EM算法对初始值敏感、易于陷入局部最大值的缺陷，是一种有效的EM 算法。 本文在Greedy EM算法的框架下，通过对一种“惩罚性最小匹配距离”[10]的分析，提出 一种高斯混合模型分量数的估计算法。通过仿真实验，验证了该算法的有效性。 2 有限混合模型及其EM 算法 2.1 有限混合模型 1本课题得到国家自然科学基金）；高等学校博士学科点专项科研基金（20070357001 ）;安徽省 高等学校自然科学研究重点项目（KJ2007A045 ）的资助。。 1 T d 设X [X 1 ,X 2 ,X d ] 是 维随机变量，服从含有M 个分量的混合模型分布。 T 是X 的一个随机样本，则X 的概率密度函数可表示为[2] x [x ,x ,xd ] 1 2