网格环境日志分析框架LARGE的设计-科研信息化技术与应用-中国.PDFVIP

科研信息化技术与应用 2 0 1 6 , 7 ( 3 ) : 0 0 – 0 0 TECHNOLOGY ·技术 / · 网格环境日志分析框架 LARGE 的 设计 赵一宁，肖海力 中国科学院计算机网络信息中心，北京 100190 摘 要：本文介绍了网格环境日志分析框架 (LARGE) 的结构设计和工作原理。LARGE 将整个日志分析流 程分为采集、分析、反馈三个模块，并针对环境中系统日志和 SCE 日志这两种不同的日志类型提 出了针对性的处理方法。LARGE 系统部署在中科院超级计算环境中，对维护系统正常运行、及时 发现并处理异常起到重要的支撑作用，同时对系统和用户行为的进一步分析提供了很好的基础。 关键词： 日志处理；大数据分析；网格环境 doi: 10.11871/j.issn.1674-9480.2016.03.001 The Design of LARGE: Log Analyzing Framework in Grid Environment Zhao Yining, Xiao Haili Computer Network Information Center, Chinese Academy of Sciences,Beijing 100190, China Abstract: In this paper the issues of architectural design and work procedure of the Log Analyzing Framework in Grid Environment (LARGE) is introduced. In LARGE the workflow of log processing is divided into three modules of collecting, analyzing and feedback, and various methods of processing are proposed for logs in different styles. The system of LARGE is deployed in the ScGrid of Chinese Academy of Sciences, providing functionalities of maintaining the grid environment and detecting faults, and producing the foundation work for any system and user behavior analyzing. Keywords: log processing; big data analyzing; grid environment 基金项目：国家高技术研究发展计划 (863 计划) (2014AA01A302)； 青年基金项目 (CNIC_QN_1510) 中国科学院计算机网络信息中心 3 科研信息化技术与应用，2016, 7 (3) 引言 Environment) 来对超级计算环境中的日志文件进行处 理和分析。LARGE 将从各存储日志文件的主机上收 网格环境通过整合、管理和调度分布式的异构 集日志，进行集中的分类、筛检、结构重组、统计和 计算资源