提升移动通信网日志集中管理和审计效率.docVIP

PAGE PAGE 1 提升移动通信网日志集中管理和审计效率 　　摘要：本文主要对影响日志集中审计系统分析审计效率低的原因进行了分析，通过对采集网卡的处理程序、软件匹配算法、存储设计和数据库表结构等方面的调整优化，提高日志分析审计的准确性和效率，从而将日志集中审计系统真正的应用到现有网络中，及时发现网络中的异常情况，提升安全事件的分析能力。 　　关键词：日志；审计效率；优化；安全事件 　　中图分类号：TP311文献标识码：A文章编号：1007-9599（2013）01-0077-02 　　1前言 　　随着网络IP化、业务开放化等因素的不断演进，设备面临的安全威胁也不断增加。用于记录和分析设备运行管理情况的日志，在发现和处理异常事件时也越发变得重要，而网络设备类型与数量不断的增多，产生了大量的操作日志，无论对日志的存储还是分析都面临了更大的挑战。日志集中审计系统因此孕育而生，将各专业系统的系统日志、应用日志、操作访问日志汇聚到一起，进行分类、压缩存储，实现日志客户化数据采集、集中存储和集中审计分析。既保证了日志的关联分析，又防止了安全事件得日志被恶意篡改而导致无法溯源的隐患。 　　2日志审计系统现状分析 　　目前日志审计系统覆盖了应用、主机、网络设备、数据库和安全设备等大量设备。面临如下问题： 　　对全部设备日志与网间访问行为进行安全审计，预计每天产生日志量30G，峰值时达到6000条/秒的入库量，如此大的数据量的读取和分析导致在管理和审计效率上的瓶颈。 　　随着业务的进一步开展与扩张，日志数量和种类会不断增加。 　　对业务操作、用户信息保护越来越重视，提高日志审计的效率将缩短了事件处理的时间。 　　3日志集中审计系统架构分析 　　日志集中审计系统的架构主要分为如下三个大层面： 　　3.1采集层。日志采集中心首先完成对被审计对象日志的采集与处理。它通过代理（Agent）和事件采集器，在所管理的网络和系统上的信息采集点获取日志信息，并通过安全通讯方式上传到日志存储中心和日志分析中心进行处理。 　　在事件收集的过程中，日志采集中心还将完成事件的整合工作，包括聚并、过滤、范式化，从而实现了全网的安全事件的高效集中处理。日志采集中心本身支持大多数被管理设备的日志采集，对于一些尚未支持的设备，可通过通用代理技术（UA）支持，确保事件的广泛采集 　　3.2分析存储层。日志分析中心是综合安全审计系统的核心模块，其主要功能是接收日志采集中心的事件，并负责数据的关联分析；存储主要负责存储采集中心上报的原始数据和聚并、过滤、范式化之后的数据，供分析和查询。 　　3.3展现层。作为整个综合安全审计系统的统一人机界面接口，将各个界面的信息集中显示和发布，采用Web方式，支持各功能模块的信息显示和管理。 　　根据日志集中审计系统的架构，可通过如下四方面进行优化，达到效率提升： 　　提升采集设备采集与分析性能。 　　优化数据库与存储配置。 　　提升日志关联分析的效率与准确性。 　　提升日志系统与其他系统的融合能力。 　　根据优化的迫切性、重要性、预期效果、可实施性和经济性五个方面的综合评定，本文将重点对第一和第二方面进行优化。 　　4系统效率提升方案 　　4.1可行性分析 　　（1）提升采集设备采集与分析性能 　　使用SmartBit工具对现有系统采集引擎的处理能力进行测试，cpu100%占用的情况下是系统的极限性能，极限性能时： 　　150KPPS*512字节/400字节=192KPPS同时300KPPS*256字节/400字节=192KPPS 　　根据测试结果，我们能够处理的检测率75%平均报文速度是19.2万PPS，通过在国际出入口取得的数据显示，网络中传输的报文平均长度是400字节左右，这样的处理能力使我们处理千兆满负荷的数据流量时出现丢包现象。 　　通过调查连接到：国外类似产品一般为150万PPS到280万PPS之间。 　　（2）优化数据库与存储配置： 　　少量数据测试时响应迅速； 　　实际环境测试中发现，当数据量超过10G，查询明显变慢需要等待数秒； 　　实际环境测试中发现，数据量增加到了20G，做一次仅仅有两个条件的查询已经无法响应。 　　优化配置对长时间大数据量的影响，随着数据量与时间的延长，效果越来越明显，长时间以后，处理速度成垂直增长。 　　4.2要因分析 　　我们进一步分析原因、深入查找问题来源，对7个方面的16项因素进行分析，确认4条要因：网卡处理程序流程复杂、软件算法陈旧、磁盘阵列单组RAID5管理硬盘数量低于磁盘实际数量、磁盘的分配设计无法利用磁盘阵列的全部性能。 　　4.3解决方案 　　（1）通过对网卡驱动程序进行修改，完成采集设备采集与分析性能的提高。 　　用于捕获报文的零拷贝技术，最接近的两个实现，一个是PF_RI