不确定数据流中频繁模式的并行挖掘算法.PDFVIP

第３３卷第９期　　　 计算机应用与软件 Ｖｏｌ３３Ｎｏ．９ ２０１６年９月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｓｅｐ．２０１６ 不确定数据流中频繁模式的并行挖掘算法 １ ２ ２ 常艳芬　王　乐 　王辉兵 １（宁波大红鹰学院信息工程学院　浙江宁波３１５１７５） ２（大连理工大学创新实验学院　辽宁大连 １１６０２４） 摘　要　　不确定数据集中频繁模式挖掘的研究热点之一是挖掘算法的时空效率的提高，特别在目前数据量越来越大的情况下，实 际应用对挖掘算法效率的要求也更高。针对动态不确定数据流中的频繁模式挖掘模型，在算法ＡＴＭｉｎｅ的基础上，给出一个基于 ＭａｐＲｅｄｕｃｅ的并行挖掘算法。该算法需要两次ＭａｐＲｅｄｕｃｅ就可以从一个滑动窗口中挖掘出所有的频繁模式。实验中，多数情况下 通过一次ＭａｐＲｅｄｕｃｅ就可以挖掘到全部频繁项集，并且能按数据量大小均匀地把数据分配到各个节点上。实验验证了该算法的时 间效率能提高１个数量级。 关键词　　不确定数据　频繁模式　数据挖掘　并行算法 中图分类号　ＴＰ３１１．１３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１６．０９．００５ ＡＰＡＲＡＬＬＥＬＭＩＮＩＮＧＡＬＧＯＲＩＴＨＭＷＩＴＨＦＲＥＱＵＥＮＴＰＡＴＴＥＲＮ ＦＯＲＵＮＣＥＲＴＡＩＮＤＡＴＡＳＴＲＥＡＭ １ ２ ２ ＣｈａｎｇＹａｎｆｅｎ　ＷａｎｇＬｅ 　ＷａｎｇＨｕｉｂｉｎｇ １（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＮｉｎｇｂｏＤａｈｏｎｇｙｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎｉｎｇｂｏ３１５１７５，Ｚｈｅｊｉａｎｇ，Ｃｈｉｎａ） ２（ＳｃｈｏｏｌｏｆＩｎｎｏｖａｔｉｏｎＥｘｐｅｒｉｍｅｎｔ，ＤａｌｉａｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｄａｌｉａｎ１１６０２４，Ｌｉａｏｎｉｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｏｎｅｏｆｔｈｅｒｅｓｅａｒｃｈｆｏｃｕｓｅｓｏｆｆｒｅｑｕｅｎｔｐａｔｔｅｒｎｍｉｎｉｎｇｉｎｕｎｃｅｒｔａｉｎｄａｔａｓｅｔｉｓｔｏｉｍｐｒｏｖｅｔｉｍｅａｎｄｓｐａｃｅｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅｍｉｎｉｎｇ ａｌｇｏｒｉｔｈｍ，ｅｓｐｅｃｉａｌｌｙｉｎｔｈｅｃａｓｅｏｆｇｒｏｗｉｎｇｄａｔａａｍｏｕｎｔｉｎｃｒｅａｓｅａｔｐｒｅｓｅｎｔ，ｔｈｅｐｒａｃｔｉｃａｌａｐｐｌｉｃａｔｉｏｎｓｈａｖｅｈｉｇｈｅｒｄｅｍａｎｄｏｎｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆ ｍｉｎｉｎｇａｌｇｏｒｉｔｈｍｓａｓｗｅｌｌ．Ａｉｍｉｎｇａｔｔｈｅｆｒｅｑｕｅｎｔｐａｔｔｅｒｎｍｉｎｉｎｇｍｏｄｅｌｆｏｒｄｙｎａｍｉｃｕｎｃｅｒｔａｉｎｄａｔａｓｔｒｅａｍｓ，ｗｅｐｒｏｐｏｓｅａＭａｐＲｅｄｕｃｅｂａｓｅｄ ｐａｒａｌｌｅｌｍｉｎｉｎｇａｌｇｏｒｉｔｈｍｏｎｔｈｅｂａｓｉｓｏｆｔｈｅａｌｇｏｒｉｔｈｍｏｆＡＴＭｉｎｅ．ＢｙｉｎｖｏｋｉｎｇｔｗｉｃｅａｔｍｏｓｔｔｈｅＭａｐＲｅｄｕｃｅｐｒｏｃｅｄｕｒｅｓｔｈｉｓａｌｇｏｒｉｔｈｍｃａｎ ｍｉｎｅａｌｌｔｈｅｆｒｅｑｕｅｎｔｐａｔｔｅｒｎｓｆｒｏｍａｓｌｉｄｉｎｇｗｉｎｄｏｗ．Ｉｎｅｘｐｅｒｉｍｅｎｔｓｐｒｅｓｅｎｔｅｄｉｎｔｈｅｐａｐｅｒ，ｉｎｍａｊｏｒｉｔｙｃａｓｅｓｂｙｏｎｌｙｅｘｅｃｕｔｉｎｇＭａｐＲｅｄｕｃｅ ｏｎｃｅｉｔｉｓａｂｌｅｍｉｎｅａｌｌｆｒｅｑｕｅｎｔｉｔｅｍｓｅｔ，ａｎｄｔｈｅｓｔｒｅａｍｄａｔａｃａｎｂｅｄｉｓｔｒｉｂｕｔｅｄｕｎｉｆｏｒｍｌｙｔｏｅａｃｈｎｏｄｅａｃｃｏｒｄｉｎｇｔｏｔｈｅｓｉｚｅｏｆｔｈｅｉｒａｍｏｕｎｔ． Ｅｘｐｅｒｉｍｅｎｔｓｖａｌｉｄａｔｅｔｈａｔｔｈｅｐ