短信过滤系统的设计分析.docVIP

短信过滤系统的设计分析 　　摘 要：设计了一种手机终端上基于短信内容的垃圾短信过滤系统。系统采用了平衡Winnow算法，该算法具有分类速度快、性能好以及支持在线更新的优点，适用于手机终端资源有限、需要实时或者定期更新分类器的情况。通过一系列的实验分析，证明该方法的有效性，并给出了对该方法的全面评估。对于该算法将来在信息过滤领域的应用，提供了全面的分析依据。 　　关键词：短信过滤系统; 垃圾过滤； 平衡Winnow算法； 在线更新 　　中图分类号：TP391 文献标志码：A 文章编号：1001-3695(2008)08-2557-04 　　 　　Spam filter for short message 　　HU Ri-le??1,2??,CAI Jie??1,ZHONG Yi-xin??1 　　(1. School of Information Engineering, Beijing University of Posts Telecommunications, Beijing100876, China； 2. Nokia Research Center, Beijing 100013， China) 　　Abstract:This paper proposed a content-based spam filter embedded in mobile phones.It used the balanced Winnow algorithm as the kernel classifier in the system, since the algorithm could classify texts faster, better and what’s more, it allowed on-line setting. The Winnow classifier was suitable for systems which had limited resources and needed to be renewed at intervals. Then implementeda series of experiments to prove the good performance of the system, and analyzed the method from many aspects. This paper gave a statistic support for the information filters using balanced Winnow. 　　Key words:spam filter for short massages;spam filter;balanced Winnow algorithm;on-line setting 　　 　　垃圾信息过滤是目前人们比较关注的一类问题，它可以被看成是文本分类技术的一种应用[1]。这个方面的研究现在主要集中在邮件领域。由于手机短信在中国的高增长率，短信内容安全已经上升为一个重要的话题。据2007年的一项调查显示，14.19%的手机用户每周收到10条以上垃圾短信。垃圾短信对于人们生活的干扰已经到了不容忽视的程度。 　　手机垃圾短信是指未经请求或允许而收到的、对接收者来说无用的短信,如未经短信接收人请求或允许而发送的商业广告。垃圾短信的常见内容包括广告信息、色情信息、假中奖信息、欺诈信息、恶作剧等。 　　现有的针对垃圾短信过滤的工作多使用规则方式（黑白名单设置、模式匹配），及常见的分类算法，如朴素贝叶斯、SVM、神经网络BP方法等。基于规则的方法在一定程度上阻拦了一些垃圾短信的来源，但是对于大量的垃圾短信，规则方法就需要更多的用户自定义设置，也更容易被反过滤。 　　设计手机上嵌入式的短信过滤系统，需要综合考虑系统过滤信息的速度、过滤的性能以及对实时更新的需求。本文设计了一个基于平衡Winnow算法的短信过滤系统，并通过大量的实验对该算法在信息过滤上的应用进行了详细的分析。该算法具有过滤速度快、性能好、支持反馈更新的优点，在信息过滤领域有着很好的应用前景。本文给出的实验分析将为该算法的应用提供全面的依据。 　　 　　1 短信过滤系统设计 　　 　　文本分类是指在给定的分类体系下,根据文本的内容自动判别文本类别的过程。近年来,文本分类技术已经逐渐与搜索引擎、信息推送、信息过滤等信息处理技术相结合,有效地提高了信息服务的质量。 　　本文运用文本分类的思想设计移动终端上的短信过滤系统。将垃圾短信的过滤问题映射为二值分类问题。 　　系统流程如图1所示，包括四大部分，即特征提取、训练分类模型、对未知短信分类和反馈更新模型。系统基