基于预聚类技术的并行序贯模式挖掘算法.PDF

维普资讯 CN43—1258／TP 计算机工程与科学 2004年第26卷第 10期 ISSN 1OO7130X COMPUTER ENGINEERING ＆ SCIENCE Vo1．26，No．10，2004 文章编号 ：1007—130X(2004)10—0066—03 基于预聚类技术的并行序贯模式挖掘算法 Pre—-ClusteredSequentialPatternMining 金沈杰。吴绍春。吴耿锋。严胜祥 JINShen-jie。WUShao-chun。WUGeng-feng。YANSheng-xiang (上海大学计算机工程与科学学院。上海 200072) (SchoolofComputerEngineeringandScience。ShanghaiUniversity。Shanghai200072。China) 摘 要：本文讨论了在并行序贯模式数据挖掘方面采用 “预聚类并行序贯模式挖掘”的策略，对数据 序列聚类后按不同的类分布到不同的并行节点上，以减少甚至消除不必要的通讯开销，以便能够提高并 行序贯模式挖掘在集群式高性能计算机上的执行效率。 Abstract：Inthisarticle，wepresentthePre—ClusteredSequentialPatternMiningAlgorithm intheparallelse— quentialpatternminingfield．Themethodclustersthedatasequencesaccordingtodifferentclassesanddistributethe them intodifferentparallelcomputingnodes．Thusitgreatlyreducestheunnecessarycommunicationsoverheadand improvestheexecutionefficiencyofparallelsequentialpatternminingonclusteredhigh—performancecomputers ． 关键词 ：数据挖掘 ；并行计算；序贯模式；聚类；数据分布 Keywords：datamining；parallelcomputing；sequential pattern；clustering；datadistribution 中图分类号 ：TP31l 文献标识码 ：A 理器同时处理一个任务的效率将会是单台处理器 1 引言 独立处理该任务的 n倍 。 序贯模式是数据挖掘领域 的一个重要分支， 它主要研究如何从一系列时序数据 (或者按照其 2 并行序贯模式挖掘 他顺序组织的数据)之中发现其 内在规律——数 据序列在先后次序上存在的“模式”。序贯模式挖 得益于上世纪 90年代硬件设备价格的下降 掘在金融业、银行业、商业、生命科学、医学等领域 以及操作和连接上的简便 ，世界上已经构建出各 上有着广泛的应用。 种类型的并行计算机。 目前 ，“世界计算机 500 然而，随着其应用的深入 ，需要处理的问题规 强”排行榜中有不少是集群式并行计算机，这证明 模——数据库的大小也迅速增大，仅仅依赖提高 了该项技术的日益成熟。对于大型序贯模式挖掘 单台处理器的计算能力 已经很难满足用户的要 来说，为了进一步提高其执行效率，人们纷纷采用 求。因此，人们逐渐把 目光投向了并行计算。 以下两种方法： 并行计算的思想是想利用多台处理器共同分