基于密度网格的概念漂移检测算法研究.pdfVIP

安全模型、算法与编程 基于密度网格的概念漂移检测算法研究 ◆崔泽林 1 (北京交通大学计算机与信息技术学院北京 00044) 摘要：数据流的概念会随着时间的变化而变化，例如天气预报和网络监控。这种随时改变概念的现象叫做概念漂移。如果不处理好概 念漂移不仅降低聚类的质量，并且还会导致错误的聚类结果。现有的概念漂移算法大多都依据分类算法，根据分类算法中的错误率来 判断概念漂移。然而，在随时变化的数据流中很难发现类标签。在聚类检测概念漂移中，很多聚类算法都是再概念漂移检测之前，所 以当发生概念漂移的时候还要重新聚类。我们提出了一种基于密度网格的数据流聚类和概念漂移检测算法，这个框架采用了一种策略 动态地改变滑动窗口。由于用到了密度网格技术，它提升了DCDA检测算法的效率，并且利用可变滑动窗口替换了固定滑动窗口以适 应数据流的变化。实验结果证明我们的框架在准确率和时间效率上好于DCDA。 关键词：数据流挖掘：聚类；密度网格；概念漂移 O引育 和有效地处理噪声。在此基础上也有许多基于密度网格的聚类算 数据流聚类””在许多决策支持系统应用的信息分析中发挥 法被提出，如D—Stream 着越来越重要的作用，如网络流量监测、股票市场和信用卡欺诈 都是单遍扫描算法，只处理原始数据一次，并且不需要设置的簇 检测”o等。聚类分析可以帮助我们理解数据分布和本质。以往的 群个数。网格具有统计效果，所以聚类仅依赖于网格的数量，而 研究表明，数据流的特点是实时、快速、海量、和无限的”1。由 不再管数据流中数据点的实数。基于密度网格的聚类算法采用两 于这样的特点，数据流是不可能被控制顺序并且难以放置所有数 阶段方案”1，包括一个在线组件和离线组件。在在线组件钟，将 据流在内存中的处理(通常，数据被处理一次，不能再次访问)。 读取的数据点映射到网格中，并更新的网格钟的密度。在离线组 其聚类要求就是数据流聚类算法的时间复杂度必须低。 件中，它使用不完全分Ⅸ策略，将密度网格聚类得到结果。 然而，数据流的概念也会随时间的变化而变化的，即概念漂 移”1。换句话说，我们从当前数据中分析的概念会随时间推动而 漂移。例如，客户的购买偏好可能会随着时间而改变，这中购买 偏好可能取决星期、爱好的转移、折现率等”I。如果我们不及时 检测到概念漂移，我们最终可能得到错误的概念，这不仅降低了 聚类的质量，也可能导致意想不到的聚类结果。因此，处理概念 漂移在许多应用中是至关重要的。 在本文中，我们提出一个新概念漂移检测框架，这个框架基 于密度网格…。此外，我们提出了一个可变大小的滑动窗口，根 据我们提出的策略动态的改变滑动窗口的大小以适应数据流的 o ll HEfJ两}】，墼l删1I 变化，并加快检测速度和准确度。实验结果表明，我们提出的检 2基于密度嘲格的概念漂移检测算法 测框架比现有方法更准确和更有效。 我们提出框架是一种基于密度网格的聚类框架”1，有一个在 1研究相关工作 线组件和离线组件。在在线组件中，我们定义一个临时密度网格 概念漂移91是由Schlimmer和Granger提出。数据流中的概念和旧密度网格。可变滑动窗口读取新的数据流记录。当可变滑动 漂移是指数据点在不同的时间段服从不同的分布模型的现象。 窗口满时，将数据流映射到临时密度网格中，临时网格单元更新 Stream—detectl71提出了通过随着时间的推移测量在线聚类结果偏 网格中的特征向量。然后计算临时密度网格和旧密度网格概念之 差，识别数据流的变化。通过比较聚类中心均值、标准偏差、平 间的距离。如果距离小于某一阈值，则将临时密度网格合并到旧 均聚类规模、集群中新老聚类中心的聚类特征来度量聚类之间的 密度网格中，并通过策略改变滑动窗口的大小。否则，如果距离 偏差。如果超过一定的阈值，那么概念已经改变。但无论数据流 大于阈值，它会清除旧的密度网格和交换旧的密度网格和临时密 是否漂移，流检测需要重新聚类