自然数集上的Dirichlet过程以与无限正态混合模型.pdfVIP

第一章导论 §1．1无限混合模型 混合模型或混合分布是统计学的基本概念．经典的统计学一般假定数据来自某种理 想的、简单的分布，如正态分布，泊松分布．然而，在实际问题中这一假设有时明显与实 际不符．为了建立更加符合实际的模型，统计学家考虑简单分布的凸组合，所得到的分布 就是所谓的混合分布．我们熟知的t分布就是—个混合分布，其基础分布为正态分布，组 合系数为r分布．当然这里的凸组合并非有限和，而是积分，即连续组合． 应用中使用最广泛的要数有限混合模型．给定m个正数丌j和分布肼@)，i=1，2…．，m， 如果／rI+tr2+…+／1m=1，则P=∑至1卯，@)仍然是一个分布．这叫做有限混合分布，其中 的每个P，@)叫混合成分，／ri叫混合权重．有限混合模型之所以广受欢迎，一方面是因为 理论上可以证明任何分布都可以用有限混合分布近似，另一方面也因为这类模型已经有 成熟的处理方法．前者使得有限混合模型在应用中富有弹性，多峰数据、肥尾数据等都 可以用这类分布进行建模，尤其适合于分类和聚类问题．至于后者，当成分个数m给定 时，我们可以用EM算法求出参数谚和权重m的最大似然估计．如果成分个数未知，我们 可以用MCMC算法对参数研，／lj，成分个数m以及