一种基于特征值的短信过滤匹配算法.docVIP

  一种基于特征值的短信过滤匹配算法# 钱苏林，李炜，王晶** （北京邮电大学网络与交换技术国家重点实验室，北京 100191） 5 10 15 20 25 30 35 摘要：短信营销业务是近年来发展较快的短信业务之一，而随着该项业务的广泛应用，对短 信的过滤匹配功能也提出了更高的要求。本文结合短信营销业务的特性，提出了一种高效的 短信过滤匹配算法。算法依据短信分片特征值进行短信过滤，采用位向量法、编辑距离算法 进行短信匹配，实现了高效的海量短信过滤匹配功能。文中给出了特征值算法的详细步骤， 并对算法的有效性和正确性进行了分析对比。 关键词：短信；特征值；编辑距离；高效过滤匹配 中图分类号：TP311.1 A Short Message Filtering and Matching Algorithm Based On Eigenvalues Qian Sulin, Li Wei, Wang Jing (State Key Lab of Networking and Switching Technology, Beijing University of Posts and Telecommunications, Beijing 100191) Abstract: SMS marketing is growing at a fast rate in the past few years. As this business is widely used, the requirement for the filtering and matching function of the short message is becoming increasingly higher. Having considering some characteristics of SMS advertising, we present an algorithm for effective text filtering and matching in this article. More specifically, the algorithm is briefly described as followed: firstly, text is filtered based on its eigenvalue and secondly using bit-vector method and Levenshtein Distance algorithm to match two candidate short messages thereby realizing the efficiency of mass short message filtering and matching function. This paper describes the details on calculation of text eigenvalue and presents the analysis on the effectiveness and correctness of this algorithm. Key words: short message; eigenvalues; Levenshtein Distance; effective match and filter 0 引言 短信营销业务是近年来智能网发展较快的业务之一[1]，它为短信的业务量增长提供了一 个很好的平台和解决方案。该业务向用户提供订购/点播短信的业务，当用户订购/点播之后 成为种子用户，短信营销平台向用户下发种子短信，并由种子用户向其他用户转发。由于种 子用户可以从每一次转发行为中获益，所以就必须对每一条短信进行过滤匹配，以确认是否 为种子用户的转发短信。在一个普通的短信营销业务应用案例中存在 50 万条种子短信、4 万/秒的短信流量，为了不存在积压，那么必须在一秒内完成 50 万*4 万=200 亿次短信内容 的比较。所以，本文的研究重点是如何对海量的相似短信进行高效过滤和匹配，即如何提高 字符串相似度的计算效率。在文献[2]-[6]中提出了不同的计算字符串相似度算法，但这些算 法都侧重于确定的两个字符串之间的匹配，而且都没有考虑到短信自身的特性，无法在海量 的数据下实现高效的短信相似匹配。所以，本文结合短信自身的特性，针对如何提高海量短 基金项目：国家自然科学基金（No60902051）；国家 973 计划项目（No.2012CB915802）；中 央高校基本科研业务费专项资金（BUPT2009RC0505）；国家科技重大专项（No.2011ZX03002-001