boostng方法在混合模型选择中的应用.pdfVIP

摘 要 在模式识别这个领域中，混台模型是统计模式识别最主要的模型之一。混合 模型的估计方法有很多，其中研究最多并且为人们所熟知的是EM算法。然而局 部优化的EM算法可能会遇到一些问题，比如初始模型参数的选取，有时该算法 还可能表示出不同的收敛速度，另外最困难就是模型阶数(模型的成分个数和维 数)的确定。在混合模型中一个越来越重要的任务就是模型选择问题，即选择模 型的成分个数和维数。目前的研究方法有MCMC还有变分法等等，但是解决的 效果都不是很好。本文主要是利用Boosting算法的思想得出的一个估计混合模 型的递归式算法。该算法可以相对精确地估计出混合模型中成分的个数，同时还 可以得到模型中参数的估计。Boosting算法的主要思想是根据训练数据目前的 权重调用某些基础分类算法从而更新iJiI练数据的权重，不断这样迭代，最终得到 这些基础分类器的加权组合。这个最终的分类器的效果明显高于那些基础的分 类器的效果。最近许多专家把Boosting解释为是一种寻找最小化损失函数的分 类器组合的梯度下降算法。Mason等人在他们的一篇文章中提出在分类器空问 中寻找与损失函数的负梯度内积最大的分类器做为新的迭加的分类器这样的思 想。既然Boosting可以理解为一个熟悉的优化问题，我们就可以把这一思想用到 混合模型的建模中去，其中损失函数取为负对数似然。我们给出适当的停止规则 就可以估计出一个模型的理想成分的个数。在算法具体的执行中我们将Bagging 这样的方法用到其中可以使我们的算法产生较为理想的停止规则。从而避免了 的成分数的选择和其他方法存在的某些问题．而且固为它以迭代的方式来估计参 数的，因此该算法也适用于复杂密度的混合。我们的模拟实验也证明了它的上述 特点。 EM算法 关键词： 模型选择 混合模型 峰 Booosting bagging Abstract IVlixturemodelisone of themainmethodsof statistical in pattern recogniation thefieldof Estimationof mixturemodelshas pattern reeevied recogniation signifi— cantattentionoverthe EM is the best pastthirtyyears algorithm known probably andthemost studied for methodnfixtureestimation While EM locally