反垃圾邮件系统的内的容过滤模块设计与实现.docVIP

反垃圾邮件系统的内容过滤模块设计与实现 摘 要 介绍了一种反垃圾邮件系统的内容过滤模块的总体设计，以及内容过滤模块中采用的关键技术——多文档文本提取技术，涉及HTML文档、PDF文档、MS-WORD文档、CHM文档的文本提取技术，及压缩文件中的文档处理技术，从而更好地完善反垃圾邮件系统，以提高垃圾邮件识别率、拦截率，降低资源的消耗。 关键词 垃圾邮件；反垃圾邮件系统；过滤；模块1 引言 国际互联网技术为人们进行交流、协同工作、资源及内容共享等提供了一条崭新途径。随着通信技术及计算机技术的飞速发展，互联网络的使用日益普及，已成为当前信息时代的一种极为重要的信息传播载体，对社会的发展起到了巨大的推进作用，且信息传播及时、便捷。据美国电脑工业年鉴公司估计， 2010年全球互联网用户将超过7.65亿人。互联网络安全涉及到加密、计算机病毒防范、入侵检测、接入控制、网上媒体信息内容监管、安全管理、垃圾邮件处理等众多关键技术问题。在电子邮件为我们提供充分便利的同时，不断产生的垃圾邮件和不良邮件也正在给我们的工作、生活制造着难以计数的麻烦和无法预计的危害。 2004年11月份的数字显示，垃圾邮件的比例接近74％，在发送的垃圾邮件中，钓鱼欺诈性邮件占了24％，这使得它成为了增长速度最快的垃圾邮件类型，其它数量较大的垃圾邮件类型包括广告（23％）、医疗（11％）、色情（14％）。 互联网络上存在着海量媒体信息，皆可能成为邮件的内容，就给邮件的处理带来复杂多样性，文字监管问题也就显得越来越重要，当然也越来越困难。虽然要求尽快建立垃圾邮件相关的法律规范，倡仪通过法律手段制裁垃圾邮件，解决垃圾邮件问题，但建立垃圾邮件相关的法律规范本身就是一个较长时间的一个过程，且垃圾邮件仍然会存在、产生并在传播。 信息产业部、中国互联网协会、中国通信标准化协会2006年6月21日启动12321全国反垃圾邮件总动员活动，普及反垃圾邮件知识，营造绿色网络环境。中国互联网协会反垃圾邮件中心公布的调查结果显示，目前反垃圾邮件工作取得一定成效。从2006年3月到2006年6月，中国互联网用户收到的垃圾邮件比例由63.97%下降到61.99%。用户平均每周收到垃圾邮件数量为17.93封，与2006年3月的每周19.33封相比减少1.4封。这即说明，反垃圾邮件仍是一个持续又长久的过程。尽管《互联网电子邮件服务管理办法》规定业已出台（2006年3月30日起正式施行），但仍要采取各种必要的措施进行预防及使用，这如同法律一样不可缺，既要打击犯罪，又要教育以预防犯罪。对邮件进行适时处理，阻止垃圾邮件的泛滥成灾，通过总结策略，一般采用的是关键字内容过滤技术，采取“截获样本、解析特征、生成规则、规则下发、内容过滤” 这种类似传统杀病毒系统的原理。下面，就对邮件的内容过滤模块作一简单研究分析。2 内容过滤模块的总体设计 邮件过滤系统设计思想主要是用来监控和拦截网络上传输的含有有害信息的邮件数据报。针对这一设计思想，可以把网络邮件过滤系统的主要功能概括为以下几个模块[4]。 (1)抓取数据报文，即数据的分离过程； (2)对数据报文进行过滤分析，对邮件（SMTP,POP3）数据包进行组合； (3)查找设定的邮件地址、IP地址等过滤条件，对邮件内容中的MIME编码进行解码，还原出原始邮件内容，对内容进行分析，检索关键字，对可疑邮件进行记录； (4)有关人员通过专用的客户端软件查看可疑邮件，并远程对软件的运行进行配置和管理。 图1 普通电子邮件系统的SMTP服务过程 垃圾邮件有很强的繁殖力，如果不加以整治，就会对合法邮件造成危害，干扰互联网络的正常工作。电子邮件过滤技术是目前反垃圾邮件用到的主要技术。电子邮件过滤通常可以从两方面实现：一种是基于客户端的垃圾邮件过滤，一种是基于服务器端的垃圾邮件过滤。而在网络中对可疑邮件 进行过滤、堵截的最佳方法是基于服务器端的垃圾邮件过滤，即通过在邮件服务器上加设邮件过滤器来实现邮件过滤。 普通电子邮件系统的SMTP服务过程如图1。 加了垃圾邮件过滤模块的电子邮件系统的服务过程如图2： 图2. 加了垃圾邮件过滤模块的电子邮件系统的服务过程 主要在于增添一个邮件数据提取接口。当来自于Internet的邮件被通过POP3等系统接收时，邮件数据提取接口将提取到的邮件数据内容送交邮件过滤服务器，用户暂时不阅览该邮件，而是等待邮件过滤服务器的控制命令。内容过滤模块对邮件信息中的文本内容进行检查与过滤。检查的对象具体为邮件的其他部分内容、正文内容与文本附件内容。邮件过滤服务器根据预定义的策略和规则对邮件内容进行检查，并采用多线程同时处理多封邮件，实现对邮件内容快速扫描，并利用关键词库完成匹配，确定该邮件是否为合法邮件。3 内容过滤模块中关键技术——多文档文本提取 多文档文本提取