基于内容过滤反垃圾邮件系统设计与实现.docVIP

基于内容过滤反垃圾邮件系统设计与实现 　　摘要: 垃圾邮件日益蔓延,引起全世界的广泛关注,研究基于内容过滤的反垃圾邮件技术,主要包括基于原则评分和基于概率统计的方法,并进行系统的设计和实现,最后,在实验中通过采用K次交叉的验证方法,得到系统的评价指标,并证明了系统的有效性。 　　Abstract: The increasing spread of spam has caused widespread concern around the world. The study on anti-spam technology based on content filtering includes methods based on principle scoring and statistical probability and the design and implementation of the system. Finally,by means of K times cross-validation in the experiment,we obtain the evaluation index of the system and prove effectiveness of the system. 　　关键词: 反垃圾邮件;内容过滤;贝叶斯算法;规则 　　Key words: anti-spam;content filtering;Bayesian algorithm;rules 　　中图分类号:TP311 文献标识码:A文章编号:1006-4311(2010)07-0145-02 　　 　　0引言 　　随着Internet的迅猛发展,电子邮件以使用方便、快捷、廉价、可靠的特点很快被广大网民所接受,已成为当前最流行的信息交流方式。电子邮件给我们带来便利的同时,垃圾邮件应运而生,带来了巨大的危害,因此研究和设计高效率的垃圾邮件过滤系统有着重大的现实意义。 贝叶斯算法广泛应用于文本分类等领域,垃圾邮件过滤本质上是文本分类问题,因此贝叶斯算法在垃圾邮件过滤领域有着很好的应用。基于贝叶斯算法的英文垃圾邮件的过滤达到了比较理想的效果,但对中文的支持还有一定的难度。本文通过了解现有反垃圾邮件技术,主要研究基于规则智能评分和贝叶斯概率统计方法,设计并实现一个基于内容过滤的反垃圾邮件系统,为反垃圾邮件技术的改进提供了参考依据。 　　1系统设计及实现 　　1.1 国内外反垃圾邮件现状分析国内外市场上反垃圾邮件产品层出不穷,所采用的技术包括黑/白名单、SMTP认证、基于规则的内容过滤、基于概率统计的内容过滤、分布式特征数据库、灰名单、CR技术、邮件源头认证、蜜罐技术等。 　　基于内容的过滤技术史目前最主要的反垃圾邮件技术,由于过滤效果比较准确可靠,已被大多商用反垃圾邮件产品所采用。同时,为了能更可靠地判断垃圾邮件,启发式分析机制也经常被使用,通过综合各个反垃圾邮件模块,加权计算出一封邮件的总分后再与阀值进行比较,评估其为垃圾邮件的可能性,并将判断所得的邮件等级标识插入邮件信头中,指示邮件应用软件进行具体的处理。 　　1.2 基于内容过滤的反垃圾邮件技术一般常用于垃圾邮件过滤的文本分类方法主要有两种:一是基于规则,从训练文本集合中归纳总结得到显示规则,准确率比较高,但维护工作量比较大。一个比较知名的基于规则评分的过滤系统是SpamAssasion开源软件,它采用启发式检测机制对邮件进行分类,支持内置的朴素贝叶斯过滤模块,可以配合各种MTA使用,并且,CCERT反垃圾邮件研究小组还推出了周期更新的中文垃圾邮件过滤规则集Chinese_rules.cf,解决中文邮件过滤准确性不高的问题。二是基于概率统计,例如,贝叶斯过滤方法。目前,在各类发垃圾邮件产品中,朴素贝叶斯模型比较常用,它采用了特征独立性假设,可以简化计算,降低复杂度,并且具有较高的精确度。 　　在实际反垃圾邮件系统中,贝叶斯分类器的基本工作原理为:收集邮件样本,人工分类合法邮件和垃圾邮件两个集合;对两类邮件集中每封邮件进行粉刺,即提取出特征项(Token)。为减小开销,可剔除一切出现频率过少的词或频率虽高但无法作为判断依据的非用词,例如,a、the 、of、 for等。 　　1.3 贝叶斯过滤算法的基本步骤 　　①收集大量的垃圾邮件和非垃圾邮件,建立垃圾邮件集和非垃圾邮件集。 　　②提取邮件主题和邮件体中的独立字串例如 ABC32,￥234等作为TOKEN串并统计提取出的TOKEN串出现的次数即字频。按照上述的方法分别处理垃圾邮件集和非垃圾邮件集中的所有邮件。 　　③每一个邮件集对应一个哈希表,hashtable_good对应非垃圾邮件集而hashtable