引入惩罚项的模型聚类方法研究.PDFVIP

引入惩罚项的模型聚类方法研究 ——在环境中的模拟数据及污水处理数据的应用 中国人民大学 相楠、扈瑞鹏、黎浩宇 摘要 聚类是一种常用的多元分析方法，是在无先验信息下探索数据结构的一种常用方法。 其中，基于模型的聚类方法是聚类中一种常用方法。本文讨论了基于模型的聚类方法，并 进行进一步拓展，将变量选择的方法引入标准的模型聚类中，介绍了引入惩罚项的基于模 型的聚类方法。在此基础上，通过模拟产生实验数据对引入惩罚项的情况分别进行讨论， 最后将此模型应用在城市污水实际数据的处理过程中。全文讨论了模型的基本原理，使用 条件，拓展，参数选择，实际应用等方面，对引入惩罚项的模型聚类方法做出了比较详细 的介绍。 关键词 BIC 准则 惩罚项 EM 算法 Gap Statistics 方法 基于模型的聚类 Abstract In multivariate statistics, clustering plays an important role in data exploration. Model based clustering is a common algorithm in clustering, which is under some restriction. In this article, penalized model based clustering is discussed in details as an exploration of model based clustering. The first part introduces the theories of model based clustering and penalized model based clustering. The second part explains the estimation and selection of parameters with Gap Statistics, EM algorithm and BIC method. A simulation is discussed in the third part and application in real waste water data is showed in the fourth part. Key words Model based clustering Penalized model based clustering Gap Statistics EM algorithm BIC 引言 聚类是一种常用的多元分析方法，通过衡量不同样本间的相似性，产生多个类别，将 样本划分到不同的类群中。聚类结果使得同类别中样本相似性尽量小，不同类别的样本相 似性尽量大。根据不同的衡量样本间相似性的方法，将聚类分成不同的类别。其中，基于 模型的聚类是一种常用方法。 一、 基本原理 1. 基于模型的聚类（Model based clustering） 1.1 基本原理 基于模型的聚类假定目标数据集来自有限集并具有一定的概率分布，通过构建反应数 据点空间分布的密度函数来定位聚类，寻找最优化模型参数对其进行估计。通常假定数据 符合多项混合模型，同一类别的样本具有同样的概率分布。将多项混合模型记做f (x ;) K f (x ;)   f (x ; ) k 1 k k k 注： 表示聚类的类别数； 表示混合模型中各分项的概率分布； 表示此样本属 k f (x ; )