基于插件技术的日志采集Agent系统的设计与实现.doc

东南大学学报(自然科学版)JOURNAL OF SOUTHEAST UNIVERSITY (Natural Science 东南大学学报(自然科学版) JOURNAL OF SOUTHEAST UNIVERSITY (Natural Science Edition) 第 38 卷 增刊(I) 2008 年 9 月 Vol.38 Sup(I) Sept. 2008 基于插件技术的日志采集 Agent 系统的设计与实现 肖诗松 陈 涛 (华中师范大学计算机科学系, 武汉 430079) 摘要：为了从多源日志信息中灵活地采集数据，在代理技术的基础上提出采用插件技术来实现多 源日志采集 Agent 系统．日志采集工作由多个采集代理来完成，每个代理可以完成一个或多个日 志源的数据采集，同时每个日志源被当作代理上的一个插件．基于此设计了日志采集 Agent 系统 的体系结构和工作流程，并通过插件配置和正则表达式来实现各日志源的采集知识定义，从而使 多源日志的采集问题得到较好地解决．与其他日志采集系统相比，该 Agent 系统不仅可以解决多 源日志的采集工作，而且具有良好的扩展性和高效性． 关键词：日志采集; 插件; Agent; 正则表达式 中图分类号: U459. 2 文献标识码: A 文章编号: 1001-0505(2008)增刊(I)-0090-04 Design and implementation of log collection agent system based on plug-in technology Xiao Shisong Chen Tao （Department of Computer Science, Huazhong Normal University, Wuhan 430079, China） Abstract：In order to collect data from multiple log sources flexibly, this paper presents plug-in technology to implement a multi-source log collection agent system. The task of collecting data is done by some collection agents and each agent can collect data from one or more log source. In addition, each log source is used as a plug-in of an agent to deal with. Based on this idea, the architecture and workflow of the log collection agent system are designed, and collection knowledge definition of each log sources is implemented by means of plug-in configuration and some regular expressions. As a result, the problem of multi-source log collection is well resolved. Compared with other log collection systems, the system can not only solve multi-source log collection, but also offer a good extensibility and efficiency. Key words：log collection; plug-in; agent; regular expression 随着互联网的快速发展，网络安全问题变得日益突出．面对层出不穷的网络安全问题，很多机构和部 门都购置了各种网络安全产品，如防火墙、入侵检测系统、漏洞扫描系统、VPN 等，但这些设备大多相互 独立的工作，管理复杂，且防御效果有限．因此，进行统一的网络安全管理是解决网络安全问题的一个重 要发展方向．如何从多源设备和系统的日志记录中提取有用的日志信息，这是统一网络安全管理系统要解 决的首要难题．在这方面，一些文献给出了日志采集的采集方法，也有文献提出了日志采集的体系结构， 这些对于解决日志采集问题提供了一些有效的方法，但对于如何解决日志采集系统的可扩展性和效率问 题，大多关注较少．本文提出了基于插件技术的日志采集 Agent 系统的设计与实现方法，这从整体上保证 系统的灵活扩展性