基于平衡二叉树的日志信息归并算法.docVIP

基于平衡二叉树的日志信息归并算法 　　【摘 要】电力二次系统内网存在大量的安全设备、业务系统，同时伴随着海量的日志数据信息。为了从这些告警的日志数据信息中，发掘现有设备、系统存在的问题，缓解后台数据库的负载压力。本文提出一种日志信息解析归并算法，能够实现告警日志数据归并的快速定位，只对新告警数据进行相应数据库操作，对现有告警数据通过内存中的二叉树维护并定期与后台数据库同步。利用该方式提高了告警数据的入库效率，同时降低了内网安全监视平台数据库负载。 　　【关键词】syslog MD5 搜索 二叉树 　　1 引言 　　随着计算机网络技术的广泛应用，电力生产自动化水平日益提高，远程控制的大量运用，对电力控制系统和数据网络的安全性、可靠性、实时性提出了新的严峻挑战。为防范对电网和电厂计算机监控系统及调度数据网络的攻击侵害，及由此引起的电力系统事故，保障电力系统的安全稳定运行，需要建立和完善电网和电厂计算机监控系统及调度数据网络的安全防护体系。 　　目前，电力二次系统内网安全监视平台的告警日志多为一个个孤立、没有关联性的信息，对于用户来说多而杂乱，不利于整体上理解电力二次系统安全运行状态及实时掌握告警事件。同时，内网安全监视平台主要实现告警数据汇总功能，并没有对海量告警数据进行二次分析，造成现场告警繁多，信息关联性不强，不仅不利于反映电力二次系统安全风险指标，还造成现场用户疲于解决各类告警，严重影响内网安全监视平台的生命力。 　　本文提出一种告警日志解析归并算法，能够有效的解决告警日志的解析分类问题，可以实现告警日志数据的快速定位。同时该方法只对新告警数据进行相应数据库操作，对现有告警数据通过内存中的二叉树维护并定期与后台数据库同步。利用该方式大大减少了告警日志数据的写入数据库操作，降低了内网安全监视平台数据库负载压力。 　　2 背景 　　电力二次系统安全监视平台[1]（以下简称内网安全监视平台）主要用于电力二次系统的安全事件监视、安全事件分析、统计报表、资产管理等。 　　广域网安全监视部分主要对部署在横、纵向边界的电力专用和通用安全设备运行情况和异常访问情况进行实时监视，通过日志的采集模块采集在网络中存在的异常访问、非法外联等重要的告警数据，同时利用调度数据网实现下级调度中心的日志采集模块和上级的调度中心内网安全监视平台的级联通信功能。 　　局域网安全监视部分对调度自动化系统内部关键设备和系统监视，通过操作系统的接口，实时获取调度技术支持系统的运行状态，在系统发生异常、非法操作或是外联时，根据预先设定的规则，将告警数据上报到内网安全监视平台，以供用户实行全局的统计分析与综合运用。 　　3 告警日志解析归并算法设计 　　为了降低在大数据量告警日志情况下，对内网安全监视平台的数据库运行的压力，避免出现告警信息丢失现象；方便用户定位告警的真实来源，本文提出一种用于电力二次系统内网安全监视平台的告警解析归并方法，具体步骤如下图1所示。 　　以下对本告警解析归并方法的具体步骤展开详细说明。 　　步骤1：构建平衡二叉树。 　　内网安全监视平台的数据库中实时存储电力二次系统的安全设备告警数据。内网安全监视平台启动后，构建空的平衡二叉树；从告警信息表中获取存储的告警数据并逐条计算告警特征值；将这些告警特征值插入空的平衡二叉树中；构建含有告警数据的平衡二叉树。 　　步骤2：接收告警数据。 　　内网安全监视平台主要使用Syslog[2]方式采集安全设备的日志信息，并通过Syslog日志信息确定安全设备告警信息。电力系统专用安全设备（横向隔离设备、纵向加密认证装置）使用Syslog方式直接采集日志信息；通用安全设备（防火墙、入侵检测系统、防病毒系统）通过Agent代理将日志转换为符合电力系统标准格式的日志后采集；调度自动化系统内部的关键设备和应用通过Agent代理将日志转换为标准格式发送至内网安全监视平台。Syslog采用用户数据报协议（UDP）作为其底层传输层机制，Syslog日志信息采用标准的UDP数据包向内网安全监视平台发送信息。内网安全监视平台主要采集广域网安全监视部分和局域网安全监视部分传送的告警原始数据。 　　广域网安全监视部分监视二次系统安全设备（电力专用安全设备和通用安全设备），通过数据采集装置实时采集网络中存在的异常访问，非法外连等重要告警信息。 　　局域网安全监视部分监视主站调度自动化系统内部主机的安全状态，当系统内部主机发生异常、非法操作或外连时，向内网安全监视平台发出告警。 　　步骤3：告警数据加入合法告警队列。 　　内网安全监视平台接收告警日志数据后，先将这些告警数据做数据合法性验证，根据告警数据的合法性，将告警数据加入合法告警队列。如果接收到的告警数据不合法，则将该不合法的告警数