基于网络并联的垃圾邮件过滤系统的研究与实现-计算机科学与技术专业论文.docxVIP

Classified Index：TP393.08 U.D.C. ：681.3 Dissertation for the Master Degree in Engineering Research and Implementation of Network- Parallel based Spam Filtering System Candidate: Liu Yawei Supervisor: Prof. Hu Minzeng Academic Degree Applied for: Master of Engineering Specialty Computer Science and Technology Affiliation: Harbin Institute of Technology Date of Defence December, 2006 Degree-Conferring-Institution: Harbin Institute of Technology 哈尔滨工业大学工学硕士学位论文 哈尔滨工业大学工学硕士学位论文 -I- -I- 摘 要 垃圾邮件的泛滥是世界各国迫切需要解决的问题。垃圾邮件一方面使普 通用户不堪其扰，另一方面，也造成了互联网资源的极大浪费，甚至于危害 国家的政治及社会秩序。本文以垃圾邮件作为研究对象，提出了一种基于网 络并联方式的垃圾邮件过滤模型，并对采用该模型的过滤系统进行了设计与 实现。 本文对基于主机和基于网络串联的垃圾邮件解决方案进行了研究，指出 这两种方案在目前网络趋于高带宽、大流量的情势下，具有体系结构上的局 限，使得过滤系统本身将成为电子邮件系统乃至整个网络性能提升的瓶颈。 而基于网络并联方式的模型结构几乎不影响网络和邮件服务器的效率，能够 适用于大规模网络环境，并以一种透明的方式完成垃圾邮件的过滤。 实现基于网络并联方式的过滤系统需要解决两个重要的技术问题：一是 这种结构最重要的特点是邮件的传输与检测并行，为了完成对垃圾邮件的过 滤，系统必须能够介入邮件传输会话中，对垃圾邮件进行实时的拦截，因此 系统的性能至关重要；二是对邮件的实时拦截将导致邮件正常传输的异常终 止，从而引发邮件服务对被拦截邮件的反复发送，加重网络和邮件服务器的 负担。如果不解决这两个问题，系统的结构优势将变得毫无意义。 本文通过对 Internet 上邮件传输协议 SMTP 的研究，以 SMTP 固有的永 久错误机制完成了对垃圾邮件的无重发拦截。在性能方面，通过采用可扩展 的基于 Linux 系统的集群架构，能够适应各种高速网络环境，与此同时本文 也研究了大量提高系统处理速度的优化技术。 基于网络并联方式的垃圾邮件过滤模型，作为反垃圾邮件技术的一种有 效补充，丰富了垃圾邮件过滤的方法，并可通过与现有反垃圾邮件技术的共 同作用，构成控制垃圾邮件泛滥的多级机制。本文实现的系统通过工程实 用，在大规模网络中性能表现良好，对从网络中进行初步垃圾邮件过滤发挥 出一定的作用。 关键词 网络安全；垃圾邮件；过滤；SMTP；并联 -II- -II- Abstract The flood of spam must be solved as soon as possible, because the spam is annoying to users and causes the great waste of the resources of Internet. And what’s worst, it can be harmful to the political and society order of the country. In this paper, a anti-spam model based network parallel and TCP spoof technology was put forward, and a system based on the model was designed and implemented. In this paper, two anti-spam models are studied, one is based on host and the other is based on network in series. The two models has the localization of architecture in a large scale network, the system based on these models itself can be the bottleneck of the performance in E-mail sys