Boosting方法在混合模型选择中的应用.pdfVIP

摘 要 在模式识别这个领域中。混合模型是统计模式识别最主要的模型之一。混合 模型的估计方法有很多，其中研究最多并且为人们所熟知的是EM算法.然而局 部优化的EM算法可能会遇到一些问题，比如初始模型参数的选取，有时该算法 还可能表示出不同的收敛速度，另外最困难就是模型阶数 (模型的成分个数和维 数)的确定。在混合模型中一个越来越重要的任务就是模型选择问题，即选择模 型的成分个数和维数.目前的研究方法有MCMC还有变分法等等，但是解决的 效果都不是很好。本文主要是利用Boosting算法的思想得出的一个估计混合模 型的递归式算法.该算法可以相对精确地估计出混合模型中成分的个数，同时还 可以得到模型中参数的估计 Boosting舅法的主要思想是根据训练数据目前的 权重调用某些基础分类算法从而更新训练数据的权重，不断这样迭代，最终得到 这些基础分类器的加权组合.这个最终的分类器的效果明显高于那些基础的分 类器的效果.最近许多专家把Boosting解释为是一种寻找最小化损失函数的分 类器组合的梯度下降算法.Mason等人在他们的一篇文章中提出在分类器空问 中寻找与损失函数的负梯度内积最大的分类器做为新的迭加的分类器这样的思 想.既然Boosting可以理解为一个熟悉的优化问题，我们就