基于时间序列数据流可视化算法实现及改进.docVIP

基于时间序列数据流可视化算法实现及改进 　　摘要：随着信息技术尤其是物联网等技术的发展，人们获取数据的能力也取得了惊人的进展，大量需要处理的数据迅速涌现，形成无法估量的数据量。在源源不断的数据流总挖掘有价值的信息已成为数据挖掘领域需要面对的新挑战。该文对Lucas Lucasa等人提出的时间可视图思想进行了深入的研究，并逐步提出了两种具体实现方法，将其应用在基于时间序列的数据流上，把数据流转化成网络图，从而使得可以利用网络图的拓扑性质，对数据流做进一步的研究，例如相似性查询和趋势预测等 关键词：数据流；时间序列；可视化；网络拓扑性质 中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）08-0013-04 1概述 随着硬件条件的飞速提升，以及物联网技术的日新月异，需要处理的数据正以每天数以百万计甚至没有上限的速度增长。例如，电信部门的大型交换机每天可以记录高达几千万条的通话记录，装有GPS部件的整个传感器体系每天传回的海平面高度数据可用TB计算。在这样大的数据量基数和如此飞速的增长速度之下，如果我们仍然采用传统数据库的应用模式来处理数据，这种任务几乎是不可能完成的。基于此种情况，数据流挖掘应运而生，此种解决方案的最大特点是，待处理的数据是以一种动态、流式的形式出现即数据流（data stream），对于数据流中的数据，我们只能按顺序进行一次或有限次的访问。目前，数据流尤其是数据流挖掘已成为业界研究热点之一 2相关概念 2.1数据流 数据流就是数据量非常大的能够持续到达的、潜在无限的大数据的有序序列。相对于传统数据库中的静态数据，数据流有其特殊的特点：时效性、实时性、无限性和瞬时性等。所以，我们在对数据流做处理时，尤其要注意在时空上的限制，通常采用单一扫描的线性算法处理数据流中的数据，该算法中心思想是用精度换取时间，尽量一次性访问数据即可获得较优解和有价值信息。总而言之，数据流的处理算法对时间和空间复杂度都有很高的要求，本文将针对数据流下一个滑动窗口内的数据集或在流中随机选取的数据集的处理算法的时空复杂度进行重点讨论 2.2数据流挖掘研究现状 目前，在数据流挖掘方面成果显著的主要有：数据流聚类、分类和频繁模式挖掘。至今在数据流的可视化图领域研究及成果并不显著，在该领域进行深入研究将是一个新的突破点 2.2.1数据流聚类算法研究 数据流可看作一个随时间的进行而不断变化的无限过程，其隐含的聚类可能随着时间的动态变化而导致聚类质量降低。最近几年以来，有众多的学者对大规模数据集应用了一趟聚类算法，如Squeezer算法和BIRGH算法，这些算法也是可以应用于相应的数据流问题上，也有不少的学者针对数据的聚类提出相应的算法，典型的有STREAM算法和CluStream算法 2.2.2数据流分类挖掘算法研究 在数据流分类方面成果显著的主要是P.Domingos和G.Hulten的研究。在文献中提出了一种改进的Hoeffding决策树分类算法VFDT（Very Fast Decision Tree），这种算法类似于大多数的机器学习方案，同样都是假设数据是从静态分布中随机获取的，不能反映数据随时间变化的趋势。因此，P.Domingos和G.Huhen在研究中加入了滑动窗口技术，对VFDT算法进行了改进，提出了CVFDT（Concept-adapting Very Fast DecisionTree）算法，该算法仅保留了VFDT算法在速度和精度方面的优点，对数据产生过程中变化趋势的检测和响应做了改进，使得算法能够更好地适应对高速时变流数据的分类 2.2.3数据流频繁模式挖掘算法研究 针对数据流的频繁模式挖掘，文献提出了基于FP-tree模型的有效算法FP-stream，?算法采用倾斜时间窗口技术维护频繁模式用以解决时间敏感的问题。文献提出了一种利用有限存储空间通过一趟扫描来估计数据流中最大频繁项集的算法，该算法采用了称为“COUNT SKETCH”的数据结构，使其可以在流中对频繁项集的频率进行可靠的估计 2.3时间序列数据流 要对数据流进行挖掘，首先要了解数据流模型删。数据流D可看作是由连续不断地到达的数据组成的动态增长的数据集，即D={a1，a2，…，ai，…，aj，…}，其中ai为数据，如果ji，则ai先于aj，到达；如果|j-i|=1，则ai与aj相邻。根据ai的描述的不同，数据流模型可以分为以下3类： （1）时间序列数据流。用其来描述时间序列的数据。这里的ai可以定义为：ai=（i，Ii）其中，Ii为i时刻产生的数据 （2）Cash Register数据流。该模型应用较为普遍。这里的ai可以定义为：ai=（j，Ii）