反垃圾邮件系统的内容过滤模块设计与实现.pdfVIP

反垃圾邮件系统的内容过滤模块设计与实现 摘 要 介绍了一种反垃圾邮件系统的 内容 过滤模块的总体设计，以及内容过滤模块中采 用的关键技术——多文档文本提取技术，涉及 HTML 文档、PDF 文档、MS-WORD 文档、 CHM 文档的文本提取技术，及压缩文件中的文档处理技术，从而更好地完善反垃圾邮件 系统，以提高垃圾邮件识别率、拦截率，降低资源的消耗。 关键词 垃圾邮件；反垃圾 邮件系统；过滤；模块 1 引言 国际互联网技术为人们进行交流、协同工作、资源及内 容共享等提供了一条崭新途径。随着通信技术及 计算 机技术的飞速 发展 ，互联网络 的 使用日益普及，已成为当前信息 时代 的一种极为重要的信息传播载体，对 社会 的发展起 到了巨大的推进作用，且信息传播及时、便捷。据美国电脑 工业 年鉴公司估计， 2010 年全球互联网用户将超过 7.65 亿人。互联网络安全涉及到加密、计算机病毒防范、入侵 检测、接入控制、网上媒体信息内容监管、安全管理、垃圾邮件处理等众多关键技术 问 题 。在 电子 邮件为我们提供充分便利的同时，不断产生的垃圾邮件和不良邮件也正在给 我们的工作、生活制造着难以计数的麻烦和无法预计的危害。 2004 年 11 月份的数字 显示，垃圾邮件的比例接近 74 ％，在发送的垃圾邮件中，钓鱼欺诈性邮件占了 24 ％，这 使得它成为了增长速度最快的垃圾邮件类型，其它数量较大的垃圾邮件类型包括广告（23 ％）、医疗（11 ％）、色情（14 ％）。 互联网络上存在着海量媒体信息，皆可能成为 邮件的内容，就给邮件的处理带来复杂多样性，文字监管问题也就显得越来越重要，当然 也越来越困难。虽然要求尽快建立垃圾邮件相关的 法律 规范，倡仪通过法律手段制裁垃 圾邮件，解决垃圾邮件问题，但建立垃圾邮件相关的法律规范本身就是一个较长时间的一 个过程，且垃圾邮件仍然会存在、产生并在传播。 信息产业部、 中国 互联网协会、中 国通信标准化协会 2006 年 6 月 21 日启动 12321 全国反垃圾邮件总动员活动，普及反垃 圾邮件知识，营造绿色网络环境。中国互联网协会反垃圾邮件中心公布的调查结果显示， 目前 反垃圾邮件工作取得一定成效。从 2006 年 3 月到 2006 年 6 月，中国互联网用户 收到的垃圾邮件比例由 63.97%下降到 61.99%。用户平均每周收到垃圾邮件数量为 17.93 封，与 2006 年 3 月的每周 19.33 封相比减少 1.4 封。这即说明，反垃圾邮件仍是一个持 续又长久的过程。尽管《互联网电子邮件服务管理办法》规定业已出台（2006 年 3 月 30 日起正式施行），但仍要采取各种必要的措施进行预防及使用，这如同法律一样不可缺， 既要打击犯罪，又要 教育 以预防犯罪。对邮件进行适时处理，阻止垃圾邮件的泛滥成灾 ，通过总结 策略，一般采用的是关键字内容过滤技术，采取“截获样本、解析特征、生成 规则、规则下发、内容过滤” 这种类似传统杀病毒系统的原理。下面，就对邮件的内容过 滤模块作一简单 研究 分析 。2 内容过滤模块的总体设计 邮件过滤系统设计思想主要 是用来监控和拦截网络上传输的含有有害信息的邮件数据报。针对这一设计思想，可以把 网络邮件过滤系统的主要功能概括为以下几个模块[4]。 (1)抓取数据报文，即数据的分 离过程； (2)对数据报文进行过滤分析，对邮件（SMTP,POP3 ）数据包进行组合； (3) 查找设定的邮件地址、IP 地址等过滤条件，对邮件内容中的 MIME 编码进行解码，还原出 原始邮件内容，对内容进行分析，检索关键字，对可疑邮件进行记录； (4)有关人员通 过专用的客户端软件查看可疑邮件，并远程对软件的运行进行配置和管理。 图 1 普通电 子邮件系统的 SMTP 服务过程 垃圾邮件有很强的繁殖力，如果不加以整治，就会对合法 邮件造成危害，干扰互联网络的正常工作。电子邮件过滤技术是目前反垃圾邮件用到的主 要技术。电子邮件过滤通常可以从两方面实现：一种是基于客户端的垃圾邮件过滤，一种