日志文件采集与处理系统实现流程及BIDR结构分析.pdfVIP

BIDRPro*c

日志

系统接收系统Oracle

文件

数据库

TCP:socket

关于日志文件

见文件unixLog.txt

关于BIDR结构

见文件BIDR.txt,比较一下utmpx结构和bidr结构。

系统的实现流程：

1．循环日志文件

2．过滤

⚫过滤掉ut_user以“.”开头的

⚫过滤掉ut_type不是7或8的

⚫过滤掉ut_line以ftp开头的

3．匹配同一用户某一次的登陆和记录（要考虑跨时间段的问题）

根据给定的登陆记录匹配相应的记录：1.记录的pid和给定的登陆记录一

样。2.记录的时间要晚于登陆记录的时间。3.符合上两个条件的记

录中离给定的登陆记录的一个记录即是和给定的登陆记录匹配的。

跨时间段问题的解决：由于系统时每小时执行一次，匹配记录时会出现三种情

况：

a.某一用户同一次的登陆和记录都包含在这一小时的记录中。这种情况可

以直接计算出用户本次总共的耗时时间。

b.只有某一用户同一次的登陆记录包含在这一小时的记录中。说明此用户在采

集系统运行时，还未，这样就不能计算出用户本次的耗时时间，必须等用

户后再计算，所以应将此记录存到登陆记录的文件中。

c.只有某一用户同一次的记录包含在这一小时的记录中。说明用户是在采

集系统此次之前登陆的，那么在登陆记录的文件中肯定有此记录，根据匹

配原则进行匹配。

4．把匹配好的BIDR结构数据传输给接收系统。

定时操作：

见文件crontab.txt

接收系统实现流程：

1.通过socket接收系统发送的数据。

2.将接收到的数据通过Pro*c到数据库中的t_detail_x表中。