面向主动运维的Syslog日志分析方法.docxVIP

面向主动运维的Syslog日志分析方法 叶成刚【摘要】网络在运行过程中，有时会出现一些异常事件，这些异常事件对网络具有一定的危害性,严重的可能会导致网络故障.现代网络运维工作中普遍使用Syslog日志记录网络设备上发生的各种事件，然而许多网络运维部门仅仅用Syslog日志分析故障，对日志中所反映的网络异常情况往往重视不够.为了改变被动等待故障的工作方式，网络部门需要全面了解网络的运行情况，找出可能导致网络故障的因素,使得运维工作由被动变为主动.Syslog日志分析是主动运维工作中的一项重要内容.由于大型网络中Syslog日志数量非常庞大依靠人的分析方法几乎不可行而且由于日志消息格式的随意性，也使得传统的基于规则的计算机分析方法通用性较差.本文通过对异常事件的特征进行研究，结合实际网络中的Syslog日志数据，对如何找出网络中的异常事件和异常设备进行总结. 【期刊名称】《智能计算机与应用》【年(卷)，期】2017(007)005【总页数】6页(P50-54,59)【关键词】日志;异常事件;主动运维;日志分析【作者】叶成刚【作者单位】上海交通大学机械与动力工程学院,上海200240【正文语种】中文【中图分类】TP393.08随着互联网技术的飞速发展和移动应用的推广普及，人们的日常生活与工作已与网络建立了密切联系。确保网络的可用性与稳定性成为了网络运维部门的重要目标。在传统运维模式下，运维部门被动响应和处理网络故障，工作效率低下。而在主动运维模式下，运维人员需要采取各种主动措施，找出网络中存在的问题。在实际网络运维中，通常会使用Syslog日志记录网络运行过程中设备上发生的事件，所有设备的日志信息将会发送到Syslog服务器集中存储。Syslog日志在网络运维中具有较高的分析价值和用途，不仅可以用于故障分析，还能用于发现网络异常情况、网络安全威胁、用户行为分析等诸多方面。本次研究则立足于综述大型网络的主动运维工作要求下，如何通过Syslog日志找出网络中的异常设备，并以实际运维网络的Syslog日志数据进行分析验证。 Syslog协议Syslog协议最早由美国加州伯克利大学研究开发，由于其在运维管理方面呈现重要价值，因此在许多操作系统和网络设备中都选择内嵌了该协议。在一个最简单的Syslog协议模型中，由生成日志的发送器和接收日志的收集器两部分组成，发送器可以称为设备，收集器也可称为Syslog服务器。Syslog使用UDP传输协议，源和目标端口通常为514。 Syslog消息结构完整的Syslog日志格式由优先级(Priority)、消息头(Header)、消息文本(Content)三部分组成。一个典型的Syslog消息格式如下： 34Oct122:33:15myhostsu:surootfailedforadminon/dev/pts/8优先级通常由字符“”开始，后面是1~3位的数字，然后以“”结尾。其中的数字部分由日志的程序模块(Facility)代码和消息的严重级别(Severity)编号计算得出。优先级的数值等于程序模块代码乘以8,再加上严重级别编号。 日志消息程序模块代码由0~23表示，各个代码对应描述如表1所示。 日志严重级别编号由0~7表示，各个编号对应的严重级别描述则如表2所示。 日志消息头由时间戳、设备的IP地址或主机名组成。时间戳紧跟优先级的“”符号，时间戳与设备主机名或IP之间用一个空格分开。 消息文本是Syslog的剩余部分，一般也分成2个字段。其中，一个字段用于表示消息产生的程序或进程名称，设定长度在32个字符之内；另一个字段用于记录详细的描述信息。这2个字段通常由“[”、“:”或者空格来进行分隔标注。 在大多数网络中，运维部门通常仅仅记录优先级0~4的日志信息，其它级别信息仅在故障跟踪处理或者设备调试的情况下才会获得打开。 Syslog日志产生原因分析研究分析可得，导致Syslog产生的原因可阐释为如下3个方面： 1）设备自身问题。一般包括设备零部件故障或者软件错误。对于简单的硬件故障，日志中会记录产生故障的部位以及故障时间。软件错误的情况相对比较复杂，一方面是日志信息较难理解，另一方面是日志数量会非常多。 2）外部网络事件。一般包括网络链路问题、网络协议问题或者网络检测问题。当网络链路状态发生变化时，设备会记录链路状态变化的日志信息；当设备上运行的网络协议与对端握手状态变化时，设备会产生网络协议握手的日志信息；当网络设备检测到网络中的错误情况时，设备会记录所检测到的错误信息。 3）账号登录及设备配置。网络设备离不开人的操作和维护，运维人员日常工作需要登录设备以及对设备进行配置；还有一些运维工具软件，会自动登录设备收集信息或者自动加载某些配置，这些会使设备产生相关的日志信息。 Syslog日志分析难点小