基于内容的垃圾邮件过滤技术的若干研究-计算机软件与理论专业论文.docxVIP

基于内容的垃圾邮件过滤技术的若干研究： 基于内容的垃圾邮件过滤技术的若干研究： 摘要 摘要 电子邮件系统是互联网应用的一个成功典范，它诞生时间不长却给人们的工作和生 活的诸方面带来了深刻变化．然而，电子邮件在给人们提供便捷通信手段的同时，也遭 到了一些人的滥用．今天，垃圾邮件问题已经愈演愈烈，对互联网造成了很大危害．利 用技术方法来阻挡垃圾邮件，是目前为止对付垃圾邮件问题最有效的手段。各种过滤技 术中，内容过滤技术，借鉴了在文本挖掘问题中获得成功的机器学习算法，是目前研究 较多的一种过滤技术。内容过滤方法在分类的效果上以及在不需要太多人工干预上都有 很大优势，因此逐渐被广泛接受。 我们分析了目前的垃圾邮件内容过滤技术，认识到垃圾邮件过滤技术与普通的文本挖 掘问题存在着很多不同，我们对之进行了分析并提出了一系列改进。同时我们分析7垃圾 邮件过滤技术不能迸一步实用化的原因，并针对这些原因提出了一些解决办法。论文的具 体内容包括： (1)我们总结和分析了目前基于内容的垃圾邮件过滤技术的现状，包括文本表示、特征 选择、分类算法、评价体系，以及垃圾邮件过滤领域中常用的公共语料库。 (2)相比传统文本挖掘问题处理的对象，邮件包含了种类更丰富的信息。我们通过对 现有工作的总结和分析，站在一个更高的高度，对垃圾邮件过滤所能使用的特征进行了 总结和分类。其中有关“属性特征”的研究目前较少，我们对之进行了详细研究，包 括属性特征的作用、如何将属性特征与普通文本特征相结合、以及属性特征的选择方法 等． (3)邮件语料样本的差异较大，尤其是在结构方面。我们从实验和理论两方面分析说 明了邮件语料这种在结构上的差异性，并分析了这种差异对垃圾邮件过滤造成的负面影 响。在此基础上，我们提出了～种基于结构特征的双层垃圾邮件过滤模型，并针对这种 模型做了一系列的实验，结果表明常用分类器在使用这种模型后性能有较明显的提升， 尤其是NaYve Bayes算法，在使用了这种模型之后，分类效果大大提高。 (4)尽管基于内容的垃圾邮件过滤在技术上已经比较成熟，但是在实用上并没有得到 与之相应的广泛应用．我们分析了基于内容的客户端垃圾邮件过滤不能进一步扩大实用 的原因，并且提出了一种将逻辑上的客户端过滤器前移到服务器上的模型．同时，我们 对用户信息建模和算法的增量式调整做了初步的探索． 关键词：垃圾邮件过滤；文本分类；机器学习；信息检索 基于内容的垃圾邮件过摅技术的若干研究：abstractResearch 基于内容的垃圾邮件过摅技术的若干研究：abstract Research on Content-Based Spare Filtering Wang Shen(Computer Software and Theory) Directed By Gao Gingshi Electronic mail(e-mail)is a big success of Intemet,it is becoming one of the fastest and most economical ways of communication available．At the Same time，the growing problem ofjunk mail例SO referred tO as‘spam’)has generated a need for e-mall filtering．There have been a lot of methods to beat spam，and the approach of using automated text categorization and information filtering to filter spam is become a most efficient one．We analyzed the currect technology of content-based spam filtering，and found lots of differences between the traditional text categorization Problem and the one ofspare filtering．Depend on these analysis， we develop some methods to improve the performance ofthe spam filtering algorithm． The contents ofthis article are as following： (1)A summary about the state of the content-based spar