应用软件运行日志的收集与服务处理框架.docVIP

应用软件运行日志的收集与服务处理框架 张骁 应时 张韬 武汉大学软件工程国家重点实验室 武汉大学计算机学院 中国移动通信集团湖北有限公司 X 关注成功！ 加关注后您将方便地在 我的关注中得到本文献的被引频次变化的通知！ 新浪微博 腾讯微博 人人网 开心网 豆瓣网 网易微博 摘????要： 随着现代计算机系统的规模和复杂性不断增大, 其运行日志的数量也不断增多, 但是由于日志数据的规模巨大、内容杂乱, 用户查看日志数据具有一定的困难, 因此对应用软件运行日志进行有效收集与处理具有重要意义。本文提出了一种应用软件运行日志的收集与服务处理框架, 利用分布式收集策略对日志数据收集, 定义了一种多层次数据存储结构对日志数据进行存储, 并向用户提供日志数据查询服务。通过对某综合减灾系统的日志数据分析验证了本文提出的日志数据收集与服务处理框架的实用性, 并与传统的日志收集分析软件ELK和Chukwa进行了对比。 关键词： 日志数据; 框架; 收集处理; 分布式收集; 多层次数据存储; 查询服务; 作者简介：张骁 (1990—) , 男, 硕士研究生, 研究方向为大数据与日志数据处理;E-mail:349146714@; 作者简介：应时 (1965—) , 男, 博士, 教授, 研究方向为软件工程中的智能分析与优化、软件工程的形式化理论与方法、云计算与软件服务、大数据的处理与智能分析; 作者简介：张韬, 女, 中国移动通信集团湖北有限公司。 基金：面向运行性能改善的SaaS软件部署方案自优化方法 (No 资助 Collection and Service Processing Framework of Application Running Log ZHANG Xiao YING Shi ZHANG Tao State Key Lab of Software Engineering, Wuhan University; China Mobile Communications Corporation Hubei Co.LTD; Abstract： As modern computer systems continue to grow in scale and complexity, the number of its running log is also increasing. Due to the huge size of the log data, and the content is messy, the user has some difficulties in viewing the log data. Therefore, it is of great significance to effectively collect and process the log data of application running log. In this paper, we proposed a framework for collection and service processing of application running log, using distributed collection strategy to collect log data, defining a multi-level data storage structure to store log data, and providing the user with log data query services. We analyzed the log data of an integrated disaster reduction system, it is used to verify the practicability of the proposed framework, and compared with the traditional log collection and analysis software ELK and Chukwa. Keyword： log data; framework; collection and processing; distributed collection; multi-level data storage; query service; 1 引言 在信息系统应用中, 每次操作都会留下痕迹, 这就是日志, 每个日志文件由日志记录组成, 每条日志记录描述了一次单独发生的事件[2]。在一个完整的信息系统里面, 日志系统是一个非常重要的功能组成部分。它可以记录下系