无重复投影数据库扫描的序列模式挖掘算法.pdfVIP

计 算 机 研 究 与 发 展 ISSN 1000 1239!CN 11 1777!TP Journal of Com p uter Research and Develo p ment 44 （ 1 ）： 126132 ， 2007 收稿日期： 2005 11 12 ；修回日期： 2006 07 27 基金项目：国家自然科学基金项目（） 无重复投影数据库扫描的序列模式挖掘算法 张 坤 朱扬勇 （复旦大学计算机与信息技术系 上海 200433 ） （ 042021150#f udan. edu. cn ） Se I uence pattern mini n g Wit hout du p licate pro j ect database Scan zhan g Kun and zhu Yan gy on g （ De P art ment o f Com P utin g and in f or mation technolo gy ， Fudan unioersit y ， Shan g hai 200433 ） Abstract Se C uence p attern mi ni n g has broad a pp lications i n t he anal y sis of Web click streams ， t he p rediction of disasters and t he p attern discover y of DNAand p rotei n se C uences. Prefi xS p an ， which is based on fre C uent p attern g rowth a pp roach ， is currentl y one of t he f astest al g orit hms towards t his tar g et. However ， Prefi xS p an will p roduce hu g e amount of du p licated p ro j ect databases i n mi ni n g dense data sets and lon g se C uence p atterns. I n order to overcome this drawback ， a random al g orit hm named SPMDS is p ro p osed. The al g orit hm avoi ds scanni n g du p licated p ro j ect databases b y checki n g evi dences com p uted b y exercisi n g one wa y hash f unction such as MD5 to p seudo p ro j ections of p ro j ect databases ， and also i m p roves its p erf or mance b y si m p lif y i n g t he search i n t he p ro j ect tree usi n g some necessar y conditions. Both ex p eri ments and anal y ses show that SPMDSis better t han Prefi xS p an. Ke y words se C uence p attern mi ni n g ； p ro j ect database ； p refi x tree ； one wa y Hash f unction 摘 要 序列模式挖掘在 Web 点击流分析、自然灾害预测、 DNA 和蛋白质序列模式发现等领域有着广 泛应用 . 基于频繁模式增长的 Prefi xS p an 是目前性能最好的序列模式挖掘算法之一 . 然而在密数据集 和长序列模式挖掘过程中会出现大量的重复投影数据库，使得这类算法性能下降 . 算法 SPMDS 通过对 投影数据库的伪投影做单项杂凑函数，如 MD5 等，检查是否存在重复的投影数据库，避免大量重复数 据库的扫描，并采用一些必要条件简化投影数据库的搜索，进而提高算法的性能 . 实验和分析都表明 SPMDS 性能优于 Prefi xS p an. 关键词 序列模式挖掘；投影数据库；前缀树；单向杂凑函数 中图法分类号 TP311 A g rawal 和 Sri kant 不仅是序列模式挖掘概念 的奠基人，而且还在文献［ 1 ］中提出了 A p riori All ， A p riori S