数据流聚类算法D-Stream.docVIP

Density-Based Clustering for Real-Time Stream Data 基于密度的实时数据流聚类(D-Stream) 翻译 by muyefei E-mail: muyefei@ 注释：版权归作者所有，文档仅用于交流学习，可以用大纲视图查看文档结构 摘要：现有的聚类算法比如CluStream是基于k-means算法的。这些算法不能够发现任意形状的簇以及不能处理离群点。而且，它需要预先知道k值和用户指定的时间窗口。为了解决上述问题，本文提出了D-Stream算法，它是基于密度的算法。这个算法用一个在线部分将数据映射到一个网格，在离线部分计算网格的密度然后基于密度形成簇。算法采用了密度衰减技术来捕获数据流的动态变化。为了探索衰减因子、数据密度以及簇结构之间的关系，我们的算法能够有效的并且有效率地实时调整簇。而且，我们用理论证明了移除那些属于离群点的稀疏网格是合理的，从而提高了系统的时间和空间效率。该技术能聚类高速的数据流而不损失聚类质量。实验结果表明我们的算法在聚类质量和效率是有独特的优势，并且能够发现任意形状的簇，以及能准确地识别实时数据流的演化行为。 关键词 流数据挖掘 基于密度的聚类 D-Stream 分散的网格 1 介绍 实时聚类高维数据流是困难的但很重要。因为它在各个领域应用到。比如... 聚类是一项关键的数据挖掘任务。挖掘数据流有几项关键的挑战： 单遍扫描 将数据流视为数据一个很长的向量在很多应用中捉襟见肘，用户更加关注簇的演化行为。 近来，出现了许多数据流聚类方法。比如STREAM、CluStream以及扩展（在多数据流，分布式数据流，并行数据流上的扩展）等。 CluStream以及扩展的算法有以下一些缺陷： 只能发现球形簇，不能发现任意形状的簇。 不能够识别噪声和离群点。 基于k-means的算法需要多次扫描数据（其实CluStream利用两阶段方法和微簇解决了该问题）。 基于密度的聚类算法介绍。基于密度的方法可以发现任意形状的簇，可以处理噪声，对原始数据集只需一次扫描。而且，它不需要像k-means算法那样预先设定k值。 文本提出了D-Stream,一种基于密度的数据流聚类框架。它不是简单用基于密度的算法替代k-means的数据流算法。它有两项主要的技术挑战： 首先，我们不大愿意将数据流视为静态数据很长的一个序列，因为我们对数据流演化的时间特征更加感兴趣。为了捕获簇的动态变化，我们提出了一个新颖的方案，它可以将衰减因子与每个数据点的密度联系起来。与CluStream算法要求用户输入聚类目标的持续时间不同，衰减因子为系统提供一种新颖的机制，可以通过将最近的数据赋予更高的权重而不是完全丢弃历史信息，从而动态地、自动地形成簇。另外，D-Stream不需要用户输入簇的数目k。因此，D-Stream特别适合于那些对应用程序数据具有少量领域知识的用户。 其次，由于数据流的数据是海量的，不大可能保留每个数据记录的密度信息。因此我们提出将数据空间划分成一个个离散的网格，然后将新来的数据映射到对应的网格。这样，我们不需要保留原始数据，仅仅需要操纵这些网格。然而，对于高维数据，这些网格的数目是海量的。因此如何处理高维数据来提高伸缩性是一个关键的问题。幸运的是，实际上大部分网格是空的或者只包含少量的记录，我们在D-Stream中开发了一种内存有效的技术来管理这些松散的网格。 与CluStream算法比起来，D-Stream在聚类质量和效率方面更有优势，而且针对海量高维的流数据具有更好的伸缩性。 本文的剩余部分是这样组织的：部分2是D-Stream算法的概述；部分3提出了关于密度网格和衰减因子的一些概念和理论；部分4给出了算法的细节和理论分析；部分5是实验，在人工和真实数据集上与CluStream算法做了比较。部分6是论文总结。 2 算法概述 D-Stream算法 对一个数据流，在每一个时刻，D-Stream算法的在线部分连续第读入一个新的记录，将多维的数据放置到对应多维空间中的离散密度网格,然后更新密度网格的特征向量（5-8行）。关于密度网格和特征向量在部分3详细介绍。离线部分在每隔gap（一个时间整数参数）时间动态地调整簇。在第一个gap时间内产生了初始簇（9-11行）。然后，算法周期性地移除松散的网格以及调整簇（12-15行）。 3 密度网格 由于不可能保留原始数据，D-Stream将多维数据空间分为许多密度网格然后由这些网格形成簇。如下图所示： 3.1 基础定义 文本中，假设输入的数据有d维。并且在以下的数据空间中定义： 在D-Stream中，我们将d维的空间S划分成密度网格。假设对于每一维，它的空间是Si，i=1,...,d被分为pi个部分。 这样数据空间S被分成了个密度网格。每个密度网格g是由组