基于高斯分布随机样本生成的小样本聚类算法.docVIP

基于高斯分布随机样本生成的小样本聚类算法 　　摘要：针对传统聚类算法在小样本数据集上聚类效果不理想的问题，该文提出了一种基于高斯分布随机样本生成的小样本聚类算法。该算法首先对小样本数据中的每一个样本，构造高斯分布。然后根据该高斯分布在原始样本周围生成一定数目的高斯随机样本，并在随机样本的辅助下进行聚类。最后将随机样本去除得到最终的聚类结果。在UCI标准数据集上的仿真实验，显示本文算法较传统聚类算法具有更好的小样本聚类效果。 　　关键词：聚类算法；高斯分布；随机样本；小样本 　　中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2013）29-6609-03 　　1 概述 　　聚类[1-4]与分类[5-7]是模式识别[8-10]领域最重要的两个研究问题，分类问题是一种有标签学习，与分类问题不同，分类问题是一种无标签学习，它通过样本间的相似性，将样本划分为寄个不同的簇，其中每一个簇内样本的相似度较大，不同簇之间，样本的相似度较小。经过几十年来内外学者的努力，已经出现了很多较为实用的聚类算法，详细的关于聚类算法的叙述请见第2小节。 　　尽管传统聚类算法在日常生活的各个领域获得了较为成功地应用，但是这些聚类算法往往要求待聚类的样本数目较多。当样本数目较少时，即小样本聚类问题，它们的聚类效果通常不够理想。这主要是因为样本数目太少，传统聚类算法无法对样本在空间中的分布进行比较准确的划分。这一点与分类问题中小样本问题上分类器泛化性能不好非常类似。 　　因此针对小样本聚类问题，研究刻画样本分布的有效聚类算法就成为了国内外学者研究的热点，具有重要的理论价值和应用前景。针对小样本问题上的聚类研究，该文提出了一种基于高斯分布随机样本生成的小样本聚类算法，该算法首先对小样本数据集中每一个的样本构建一个高斯分布，然后根据该高斯分布在原始样本的周围生成一定数目的随机样本，并将这些随机样本加入到原始样本中，构造新的聚类样本集。最后在新的样本集上进行聚类。由于利用高斯分布在原始样本的周围生成了适量的随机样本，扩充了原始样本的数目，因此本文提出的聚类算法可以获得较好的聚类效果，详细分析请见第3小节。 　　本文组织如下：该文第2节对传统聚类思想分类别进行了介绍；第3节提出了一种基于高斯分布[11]随机样本生成的小样本聚类算法；第4节在UCI标准数据集上对本文算法进行测试，给出实验结果，并对结果进行详细的分析；第5总结全文。 　　2 传统聚类方法研究介绍 　　主要的聚类算法可以划分为如下几类：基于划分的方法（partitioning methods）、基于层次的方法（hierarchical methods）、基于密度的方法（density-based methods）、基于网格的方法（grid-based methods）和基于模型的方法（model-based methods）等。下面对这几类聚类算法分别进行描述。 　　基于划分的方法：给定一个n个对象或元组的数据库，一个划分方法构建数据的k个划分，每个划分表示一个聚类，并且k=n。也就是说，它将数据划分为k个组，同时满足如下的要求：（1）每个组至少包含一个对象；（2）每个对象必须属于且只属于一个组。给定k，即要构建的划分的数目，划分方法首先创建一个初始划分。然后采用一种迭代的重定位技术，尝试通过对象在划分间移动来改进划分。一个好的划分的一般准则是：在同一个类中的对象之间的距离尽可能小，而不同类中的对象之间的距离尽可能大。为了达到全局最优，基于划分的聚类会要求穷举所有可能的划分。目前比较流行的划分方法是k-means算法和k-medoids算法。k-means算法中，每个簇用该簇中对象的平均值来表示；k-medoids算法中，每个簇用接近聚类中心的一个对象来表示。基于划分的方法对发现球状簇很适用。 　　基于层次的方法：层次的方法对给定数据集合进行层次的分解。根据层次的分解如何形成，层次的方法可以被分为凝聚的或分裂的方法。凝聚的方法，也称为自底向上的方法，一开始将每个对象作为单独的一个组，然后继续地合并相近的对象或组，直到所有的组合并为一个（层次的最上层），或者达到一个终止条件。分裂的方法，也称为自顶向下的方法，一开始将所有的对象置于一个簇中。在迭代的每一步中，一个簇被分裂为更小的簇，直到最终每个对象在单独的一个簇中，或者达到一个终止条件。 　　基于密度的方法：绝大多数划分方法基于对象之间的距离进行聚类。这样的方法只能发现球状的簇，而在发现任意形状的簇上遇到了困难。基于密度的方法是另一类聚类方法，其主要思想是：只要临近区域的密度（对象或数据点的数目）超过某个阈值，就继续聚类。也就是说，对给定类中的每个数据点，在一个给定范围的区域中必须包含至少某个数目的点。这样的方法可以