电子邮件协议还原及分析系统的设计与实现.docx

第 12期陈明建等 :电子邮件协议还原及分析系统的设计与实现电子邮件协议还原及分析系统的设计与实现 *1 22? 265?( 1 .福州大学数学与计算机学院 ,福建福州 350002; 2.中国科学院高能物理研究所计算中心 ,北京 100049)摘要 :在具体分析电子邮件协议 (以 POP3为例 )的基础上 ,设计并实现了一个高速网中的电子邮件协议还原与分析系统。该系统设计了分布式的数据存取控制模块 ,并以改进的 Libnids框架实现了协议的还原与分析。关键词 :分布式 ;存取控制 ;协议还原 ;邮件分析中图法分类号 : TP311文献标识码 : A文章编号 : 1001- 3695( 2006) 12- 0265 - 03Design and Implementation of E-mail Protocols Assembly and Analysis SystemCHEN Ming-jian1 , LIU Bao-xu2 , XU Rong-sheng2( 1. College of Maths Computer Science, Fuzhou University, Fuzhou Fujian 350002, China; 2 . Center of Computing, Institute of High EnergyPhysics, Chinese Academy of Sciences, Beijing 100049, China)Abstract: The E-mail protocols assembly and analysis system is designed and implemented, based on the analysis of its proto-cols ( represented by POP3) . In the system, the access controlling module for distributed data is described, and protocols as-sembly and analysis are implemented, based on the Libnids improved.Key words: Distributed; Access Controlling; Protocol Assembly; E-mail Analysis电子邮件 ( E-mail)已经成为现代通信方式的重要组成部分,但它在给人们带来便利 ,加快信息交流的同时 ,也带来了一系列的安全问题。因而需要建立一套系统对电子邮件进行还原分析和监控过滤 ,以有效阻止有害信息的传播和机密信息的泄漏。本文针对高速网络的特点 ,设计并实现了高速网络下的邮件还原与分析系统 ,通过试验环境与实际环境的测试,证实了其有效性与可用性。贯性及在一定程度上的故障可恢复性。数据控制模块主要由数据读取接口、数据写入接口、数据存取同步模块和日志管理子系统四大子模块组成。数据存取控制模块框架如图 1所示。为了保证数据存取的透明性 ,该控制模块对外仅开放数据读取接口及数据写入接口 ,以动态链接库的形式提供 ,屏蔽了内部数据存储结构及处理机制。下面以数据写入为例说明该模块的工作流程。数据包捕获模块生成11. 1关键技术分析高速数据存取控制Tcpdump格式的文件后 ,调用数据写入接口来存储该文件。数据写入接口收到写入请求时,向存取同步模块发出数据写入请求。同步模块收到请求后,向日志管理子系统申请数据写入监控系统主体部分一般由网络数据侦听捕获和网络数据分析两大模块组成。网络数据经捕获、过滤后直接导入分析模块进行分析处理。这样的处理方式在小流量网络环境中可以工作得很好,但在高速网络中 ,数据捕获和分析处理的速度远远跟不上网络数据流的速度,从而引起大量的丢包现象,影响系统功能的发挥。因此,在高速网络环境中,网络数据流要经过负载均衡设备进行分流,由捕获模块进行预处理 ,预处理的网络数据在进行分析处理前先存储于设备中。为了避免数据存储时频繁的 I/O操作对分析处理性能的影响,数据存储模块与数据分析模块应当采用分布式方式部署。分布式部署提高了大流量下系统的锁 ,再将该文件以一定的组织方式写入存储设备中 ,最后日志管理子系统记录下该操作。数据读取流程与数据写入流程相似 ,考虑到数据读取接口与网络数据存储部署于不同的处理主机上 ,为了提高数据读取的效率 ,减少存取数据时处理同步的开销 ,在数据读取接口中设置了读取缓冲区。缓冲区的大小可以通过一定的策略加以调整。在故障恢复方面 ,由于采用了日志管理系统 ,对所有读写操作进行记录 ,因此在发生断电等故障导致系统重启后 ,系统可以根据日志