一种多数据流聚异常检测算法.pdf

一种多数据流聚类异常检测算法 摘 要 数据流作为一种新型的数据模型，在许多应用诸如网络流量管理、金融数据处理、 交通治理以及电子商务中都扮演着重要的角色。在数据流挖掘技术日益得到广泛关注的 今天，多数据流处理问题给研究人员带来了新的挑战：一方面，由于多数据流既要求保 留数据流的无限和快速等特性，还需要利用有限的系统资源减少多数据流不确定性因素 对挖掘过程造成的影响；另一方面，由于多数据流之间具有相关性，其处理技术则要求 不仅关注一条数据流的流量变化，同时还需要根据大量数据流之间的相关性进行研究。 因此仍存在许多问题尚待解决，学术界对多数据流的聚类分析和异常检测问题进行广泛 的研究。 本文主要研究基于聚类的多数据流异常检测问题，首先总结数据流挖掘的相关理 论；对现有的聚类算法进行详细的分类介绍。结合多数据流的特点，总结多数据流聚类 的研究方向和现有的异常检测的方法，分析了多数据流异常检测存在的难点和面临的挑 战。在分析了聚类的多数据流异常检测所存在问题的基础上，本文设计了一种性能较好 的多数据流异常检测算法。该算法首先对多数据流进行预处理，根据数据流序列的相关 度特征运用离散小波变换，得到压缩的流序列，降低了系统内存存储需求，加快了计算 机处理的时间；建立了改进的相似度矩阵，提高了聚类结果的准确率；通过计算每个数 据点的局部可达密度，对核心对象进行标记，从而实现基于密度的聚类，生成任意形状 的聚类；最后对聚类产生的被定义为噪声的集合，进行增量的LOF计算，根据设定的 离群点阈值，判断多数据流中的异常。 本文在聚类的同时，运用离群点检测算法实现对多数据流的异常检测。实验结果表 明，本算法在聚类的同时可以更好的发现异常，且与DBSCAN算法相比，时间效率得 到了提高，得到更好的异常检测效果。 关键词：多数据流；聚类；离散小波变换；异常检测；局部离群点 一种多数据流聚类异常枪测算法 Abstract As in as anewdata stream all role model，dataplaysimportantmanyapplications，such networktraffic controlaswellase-businessandSO management，financialmontoring,traffic on．The and over datastreamshavebeen processingminingtechnologiesmultiple widely studied．Theinfiniteand charactersof datastreamsandthe of highspeed multiple requirement fast forthese break intraditionaldatabases． on；ineresponse applicationgsmanyassumptions Ontheother data streams not focuson hand，multiple processingtechnologyrequiresonly onedata of onrelevancebetweenalotofdata change stream，also analysis streams．Though thereserachof datastream