半结构化文档数据流快速频繁模式挖掘.pdfVIP

第３６卷第３期 东南大学学报（自然科 学版 ） Ｖｏｌ３６ Ｎｏ３ 　 ２００６年５月 ＪＯＵＲＮＡＬＯＦＳＯＵＴＨＥＡＳＴＵＮＩＶＥＲＳＩＴＹ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） 　 Ｍａｙ２００６ 　　　　　　 半结构化文档数据流的快速频繁模式挖掘 赵传申　　孙志挥 （东南大学计算机科学与工程学院，南京２１００９６） 摘要：为了提高半结构化文档数据流的挖掘效率，对原有挖掘算法ＳｔｒｅａｍＴ进行了改进，提出了 一种半结构化文档数据流的快速频繁模式挖掘算法———ＦＳｔｒｅａｍＴ．该算法针对利用集合存储候 选频繁模式效率较低的缺点，采用枚举树存储候选频繁模式，可以有效地提高对候选频繁模式集 合进行查找和更新的效率，同时利用频繁模式的单调性和枚举树的特点减小了维护负边界的搜 索空间，从而提高了整个算法的效率．理论分析和实验结果表明，算法ＦＳｔｒｅａｍＴ与算法ＳｔｒｅａｍＴ 相比具有较高的效率，是有效可行的． 关键词：数据挖掘；频繁模式；数据流；枚举树 中图分类号：ＴＰ３１１　　文献标识码：Ａ　　文章编号：１００１－０５０５（２００６）０３０４５２０５ Ｆａｓｔｍｉｎｉｎｇｆｒｅｑｕｅｎｔｐａｔｔｅｒｎｓｉｎｓｅｍｉｓｔｒｕｃｔｕｒｅｄｄａｔａｓｔｒｅａｍ ＺｈａｏＣｈｕａｎｓｈｅｎ　　ＳｕｎＺｈｉｈｕｉ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＳｏｕｔｈｅａｓｔＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏｉｍｐｒｏｖｅｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅｓｅｍｉｓｔｒｕｃｔｕｒｅｄｄａｔａｓｔｒｅａｍｍｉｎｉｎｇ，ａｆａｓｔａｌｇｏｒｉｔｈｍｆｏｒ ｍｉｎｉｎｇｆｒｅｑｕｅｎｔｐａｔｔｅｒｎｓｆｒｏｍｓｅｍｉｓｔｒｕｃｔｕｒｅｄｄａｔａｓｔｒｅａｍ，ＦＳｔｒｅａｍＴ，ｉｓｐｒｏｐｏｓｅｄｂａｓｅｄｏｎＳｔｒｅ ａｍＴ．Ｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｌｏｗｅｆｆｉｃｉｅｎｃｙｏｆｓｔｏｒｉｎｇｆｒｅｑｕｅｎｔｐａｔｔｅｒｎｓｉｎｓｅｔ，ｔｈｉｓａｌｇｏｒｉｔｈｍｓｔｏｒｅｓ ｆｒｅｑｕｅｎｔｐａｔｔｅｒｎｓｉｎｅｎｕｍｅｒａｔｉｏｎｔｒｅｅ，ｗｈｉｃｈｉｓｍｏｒｅｅｆｆｉｃｉｅｎｔｗｈｅｎｓｅａｒｃｈｉｎｇａｎｄｕｐｄａｔｉｎｇｔｈｅｆｒｅ ｑｕｅｎｔｐａｔｔｅｒｎｓｅｔ，ａｎｄａｔｔｈｅｓａｍｅｔｉｍｅｒｅｄｕｃｅｓｔｈｅｓｅａｒｃｈｓｐａｃｅｏｆｍａｉｎｔａｉｎｉｎｇｔｈｅｎｅｇａｔｉｖｅｂｏｒｄｅｒ ｕｓｉｎｇｔｈｅｍｏｎｏｔｏｎｉｃｉｔｙｏｆｆｒｅｑｕｅｎｔｐａｔｔｅｒｎａｎｄｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｅｎｕｍｅｒａｔｉｏｎｔｒｅｅ．Ｔｈｅｏｒｅｔｉｃａｌ ａｎａｌｙｓｉｓａｎｄｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅＦＳｔｒｅａｍＴａｌｇｏｒｉｔｈｍｉｓｆｅａｓｉｂｌｅａｎｄｍｏｒｅｅｆｆｉｃｉｅｎｔｔｈａｎ ｔｈｅＳｔｒｅａｍＴａｌｇｏｒｉｔｈｍ． Ｋｅｙｗｏｒｄｓ：ｄａｔａｍｉｎｉｎｇ；ｆｒｅｑｕｅｎｔｐａｔｔｅｒｎ；ｄａｔａｓｔｒｅａｍ；ｅｎｕｍｅｒａｔｉｏｎｔｒｅｅ ［２］ 　　近几年由于网络技术和ＷＥＢ技术的发展，数 ＳＯＡＰ 通过 Ｉｎｔｅｒｎｅｔ传送不同种类的弱结构数 据流应用迅速发展起来．此时数据不像原来那样完 据．由于传统的数据挖掘方法不能直接应用到此类 整地存储在数据库中，而是以序列（流）的形式到 数据流的挖掘中，因此如何高效地在这类数据流中 达．在数据流的应用中，无法控制数据到达的顺序， 挖掘有用信息非常重要． 也不能将流数据完整地存储在本地．数据流的应用 半结构化数据中的频繁结构挖掘有不少学者 领域比较广泛，例如传感器网络中各类传感器检测