对于大规模系统日志的日志模式提炼算法的优化.pdfVIP

CN 43—1258／TP 计算机工程与科学 第39卷第5期2017年5月 ISSN1007—130X 8LScience ComputerEngineering V01．39，No．5，May．2017 文章编号：1007—130X(2017)05—0821—08 对于大规模系统日志的日志模式提炼算法的优化 赵一宁，肖海力 (中国科学院计算机网络信息中心，北京100190) 摘 要：LARGE框架是部署在中国科学院超级计算环境中的日志分析系统，通过日志收集、集中分 析、结果反馈等步骤对环境中的各种日志文件进行监控和分析。在对环境中系统日志的监控过程中，系统 维护人员需要通过日志模式提炼算法将大量的过往系统日志记录缩减为少量的日志模式集合。然而随着 日志规模的增长以及messages日志文件的特殊性，原有的日志模式提炼算法已经难以满足对大规模日志 快速处理的需要。介绍了一种对于日志模式提炼算法的优化方法，通过引入MapReduce机制实现在存在 多个日志输入文件的情况下对日志处理和模式提炼的流程进行加速。实验表明，当输入文件较多时，该优 化方法能够显著提高词汇一致率算法的运行速度，大幅减少运行时间。此外，还对使用词汇转换函数时的 算法运行时间和提炼效果进行了验证。 关键词：日志处理；MapReduce机制；大数据分析；网格环境 中图分类号：TP393．027 文献标志码：A doi：10．3969／j．issn．1007—130X．2017．05．001 ofthe extraction Optimizationlogpattern for files algorithmlarge。。scalesyslog ZHAO Hai—li Yi—ning，XIA0 NetworkInformationCenter，Chineseof (Computer AcademySciences。Beijing100190，China) LARGE Abstract：The isa frameworkinthe environ— systemloganalysis deployedsupercomputing mentinChinese of monitorsand variousfilesintheenvironment Sciences．It Academy analyzes log result and feedback．Inthe of throughlogcollection，centrallyanalysis processmonitoringsystemlogs， itis for maintenanceto numberof intoa small reducethe necessarysystem personnel large originallogs setof the extraction o