基于rsyslog系统日志的收集与分析_朱晓亮.pdf

网 络 安 全 基于rsyslog 系统 日志的收集与分析 朱晓亮 陈云芳 陆有为 南京邮电大学物联网学院 江苏 210003 摘要：本文提出一种基于 rsyslog 来收集分析 *nix 系统里面产生的各种日志的大规模日志收集与分析的方法，最终实 现一个基于 Web 架构的完善的系统级日志和应用级日志处理分析系统。实验表明该系统能有效解决大规模日志收集与分析 中出现的各类问题。 关键词：*nix 日志；Rsyslog；采集与分析 0 引言 的文件记录的是KVM 相关的log 信息。 本文研究一种基于rsyslog 系统日志处理系统，通过收集 1.2 Rsyslog 日志处理协议 *nix 系统里产生的各种log，分析并确定系统中的问题所在， Syslog 是一个很著名的网络协议，是一种在 Unix 和类 最终以Web 方式展示出来，方便的进行检索和分析，具有较 Unix 的计算机系统上使用的协议，它用于转发以太网络中的 高的理论和实用价值。 日志消息。它实施了基本的syslog 协议，并且为syslog 协议 1 *nix 的日志处理 扩增了基于内容的过渡、丰富的过滤功能和灵活的配置选 1.1 *nix 平台下的日志 项，还增添了一些重要功能，比如使用TCP 进行传输。 对于*nix 平台来说，log 主要包括应用层的log、系统层 (1) rsyslog 的功能 的log 以及虚拟机的log。 Rsyslog 通过队列来耦合两个动作，在队列中，一方作为 应用层的log：大部分应用层的log 默认会存储在/var/log/ 生产者，一方作为消费者，生产者会生产一些东西，一般， 下面，如果通过 ls 列出/var/log/下面的目录文件，我们会看 “一些东西”通常是syslog 信息，当然，队列也可以用于其他 到很多熟悉的名字，比如/var/log/apache2 ，则代表是由 的目的。 apache2 服务产生的 log 文件；再比如/var/log/samba 则代表 Rsyslog 有一个主队列和多个action(动作)队列，消息输 是由Samba 服务产生的log 文件。 入模块把消息pass 到主队列，再由主队列根据rules 分给各 系统层的log：系统的log 信息主要是跟Ubuntu 的系统 个action 队列。 信息相关，跟应用层的 log 关系不是很紧密，常见的包括用 在配置文件里，可以通过MainMsg 和Action 分别用来 户的认证机制的日志信息，系统的daemon，系统的messages， 设定主队列和aciton 队列的参数。在队列创建前，相同的参 以及系统所有的压缩文件也就是其本身syslog。 数可以指定多次，最后指定的优先。 虚拟机的 log：对于虚拟机来说，目前主流的包括 xen 主队列，在解析完配置文件后，开始创建。Action 队列， 以及KVM，其中前者使用范围更为广泛，同样，在/var/log/ 在每次动作选择时被创建。 下有 xen/ 目录，该目录下会包含 console/ 目录，记录通过 Rsyslog 支持多种模式，在配置文件里通过$objcect console 登录的信息，domain-builder-ng.log 文件记录 domU queuetype 来指定。目前有下面三种： 的信息，xen-debug 文件以记录xen 虚拟机的debug 信息等。 ① 直接队列，不排队或缓存任何队列元素，直接传递 而对于KVM 来说，则包含/var/log/libvirt/ 目录，该目录下面 元素到下一个处理机制；