一种面向分布式数据流的闭频繁模式挖掘方法-计算机应用研究.doc

一种面向分布式数据流的闭频繁模式挖掘方法 唐颖峰1,2，陈世平1 (1．上海理工大学 管理学院，上海 200093;2.上海对外贸经贸大学 教务处，上海 201620) 摘 要: 对智能交通系统中面向分布式数据流的频繁模式挖掘问题进行了研究。针对智能交通系统中传感器网络数据流的特点，提出一种基于分布式窗口树的分布式数据流闭频繁模式挖掘方法。该方法在分布式节点中构建分布式窗口树，通过对分布式窗口树进行更新、剪枝及挖掘，能够快速响应用户的查询请求，返回任意时间窗口内数据中的闭频繁模式。实验表明，在保证挖掘准确性的前提下，该方法能够有效缩短查询响应时间，并具有良好的可扩展性。 关键词: 智能交通系统；分布式数据流；闭频繁模式挖掘；MapReduce；传感器网络 中图分类号: TP31　　　 Closed frequent patterns mining method over distributed data sreams Tang Yingfeng1,2,Chen Shiping1 (1.Management School,University of Shanghai for Science Technology,Shanghai200093,China;2.Academic Affairs Section,Shanghai University of International Business Economics,Shanghai201620,China) Abstract: The paper concentrated on frequent patterns mining problem over distributed data streams in intelligent transportation systems. According to the characteristics of sensor network data streams in intelligent transportation systems,a method for mining closed frequent patterns in arbitrary time window of distributed data sreams was proposed in this paper.As data stream flows,the contents of data streams are captured with a distributed compact prefix-tree,which is preserved in the distributed computing nodes.The obsolete and infrequent items are deleted by periodically pruning the tree.With mining the tree paralled, the result can be returned to user rapidly after submitting the query. The experimental results show that, ensuring the accuracy of mining, the method can effectively reduce the query response time, and has good scalability. Key words: intelligent transportation system; distributed data streams; mining closed frequent patterns; MapReduce; sensor network 智能交通系统中的数据分析面临两个问题：一是实时性问题。交通系统本身就是一个实时动态系统，系统中的各种数据由车流驱动，实时变化。智能交通系统通过传感器网络对交通进行实时监控以及数据采集，形成瞬息万变的交通数据流。而在智能交通系统中除了少数事后分析和规律总结，人们更关心系统当前所处的状态以及系统变化的趋势，以此作为系统进行优化控制的决定性参数。因此智能交通系统需要对系统中的交通数据流进行实时分析，得出当前一段时间内交通系统的状态信息。 另一个问题是分布性问题。智能交通系统通过传感器网络采集交通数据，而传感器则遍布于系统的整个物理空间，形成一个分布式的数据网络。用传统的集中式的数据处理架构分析这种数据时，需要先将各节点的数据进行汇总整理，再对汇总好的数据进行分析。这种方式显然无法胜任数据的实时分析。因此，需要一种方法能