垃圾邮件的并行过滤模型及算法研究与实现-通信与信息系统专业论文.docx

摘要电子邮件已经成为人们日常生活中通信、交流的重要手段之一，但垃圾邮件问题也日益严峻， 摘要 电子邮件已经成为人们日常生活中通信、交流的重要手段之一，但垃圾邮件问题也日益严峻， 网民平均每天收到的垃圾邮件数量已超过了正常邮件。目前经常采用的垃圾邮件过滤技术一般包括 自名单与黑名单技术、规则过滤以及基于关键词匹配的内容扫描等。 也可以从电子邮件的文本内容入手，使用文本分类、信息过滤的算法，在训练邮件集合上学习 垃圾邮件分类器。垃圾邮件过滤中常用的文本分类方法有简单贝叶斯、k一近邻、决策树、boosting 等。简单贝叶斯方法计算简便，但由于算法假设条件的限制，查全率和正确率都难以达到一个更高 的层次。其他的几种方法有的效果比简单贝叶斯好一些，但计算较复杂。本文在分析简单贝叶斯方 法的基础上，试图寻找一种速度快、计算简便、性能好的垃圾邮件过滤器。提出了并行过滤垃圾邮 件的概念，将计算机理论中的“流水”引入到垃圾邮件分类器中，不仅实现并行效果，并且在公用 邮件语料上的实验表明，并行过滤模型的的效果比较好，查全率和准确率都比较令人满意。 具体的说，本文的工作主要包含：概述垃圾邮件过滤问题的研究现状。包括垃圾邮件的定义、危 害以及常用的过滤技术。总结了常用的反垃圾邮件方法和技术，重点介绍了垃圾邮件的过滤技术。 详细分析邮件过滤中的简单贝叶斯算法。并针对贝叶斯算法中的不足，提出了滑动窗口，从而 提出了并行过滤模型的概念。介绍了并行过滤模型的设计和实现过程，包括主要模块的结果设计细 节。 通过使用公_}}j的邮件语料和本文作者收集的邮件的实验来测试并行过滤模璎的各方面性能。 关键词：垃圾邮件过滤；文本分类；朴素贝叶斯；并行过滤：滑动窗口 II AbstractElectronic Abstract Electronic mail fe—mail)is becoming one of the fastest and most economical ways of communication available．At the same time，the growing problem ofjunk mail(also referred to as “spam”)has generated a need for e-mail filtering．Nowadays，anti-spam measures commonly include black or white list technology,manual roles and keyword based content filtering． Another approach is using automated text categorization and information filtering to filter spam．An e-mail filtering system can learn directly from a user’s mail set．Such algorithms oftext categorization as NaYve Bayes，kNN，Decision Tree and Boosting can be applied in spam filtering． However．the effectiveness of Naive Bayes is limited because of its assumption on arithmetic． Others algorithm are more effective but complicated to compute．Trying to resolve this problem， we propose using slipping window,just like the‘pipeline’of computer theory,and we call it as parallel filtering．The experiment in public e-mail corpus shows an effective result． The contents ofthis article are as following：A summary about the state ofthe spare filtering． Introducing the normal approaches and technique of anti—spam，special about spam filtering technique． Analyzing the Naive Bayesian classifier．Bring sli