基于云计算技术通用日志管理构件.PDFVIP

基于云计算技术的通用日志管理构件 郑 清 泉 / 摘 要 计算机技术经历了并行计算、集群分布式计算、网格计算等发展阶段，现在已步入云计算时代。针对新环境 下的日志管理问题，如日志文件分散存放，数量多，海量日志的查询费时，效率低下等，提出了基于云计算技术的通用日志管理 构件，研究了日志管理构件分布式部署，海量日志集中存储及管理，海量日志的实时、快速搜索。通过一个实际的日志管理应用 场景进行验证，基于云计算的日志管理构件能满足预期的性能，故障排除和监控的效率极大提升，并能够为大多数软件项目中日 志模块的开发所复用。 关键词 日志构件 运维 软件复用 云计算 _______________________________________________________________________________________________________________ 郑清泉 1997 2011 B 年毕业于电子科技大学，获得学士学位， 年受聘中国电信 级专家，现就职于中国电信控股公司福建富士通信息软件 有限公司 ITM 产品部，主要从事网管产品、IT 服务管理产品的研发，应用解决方案，咨询和服务。 _______________________________________________________________________________________________________________ 1 引言 1.2 通用日志管理构件的意义 日志管理是程序层面的规范要求，处于最底层设计范畴， 1.1 日志管理现状与问题 是任何平台建设的基石，大型、复杂的分布式能力平台的建设 日志管理是一种不可或缺的跟踪调试工具，特别是在无人 的监控、维护及更深层的系统运行信息的数据挖掘分析都离不 值守的后台程序中有着广泛的应用。长期以来，日志管理模块 开它。基于云计算技术的通用日志构件的实现意义： 对于跟踪调试、系统运行状态记录、运行性能记录分析、异常 1) 通过降低进入门槛，缩短开发周期，减少软件开发 数据恢复都有非常重要的意义，很多大型项目以及服务型软件 的成本，但其架构完全能够扩展以满足大型网络部 的开发都有自身的日志模块或系统。 署的要求； 目前日志管理功能的实现上，有的公司自主开发日志模 2) 保证系统监控有效性，减轻维护工作量，提升产品 块，有的基于开源网站日志库基础上开发，存在以下问题： 美誉度和竞争力； 1) 日志文件分散存放，数量多，可直接查阅日志文件 3) 处理事务全程跟踪，便于问题原因快速定位和解 保存周期短，极不便于运维； 决，降低维护成本，减轻维护工作量。 2) 日志构件没有采用云计算技术，海量日志的查询费 1.3 通用日志管理构件的实现内容 时，效率低下； 通用日志管理构件要实现以下功能和内容： 3) 大多数产品相关日志的关联性低，无法清晰定位， 1) 构件采用云计算技术，基于本构件可以很方便搭建 随着日志数量的不断递增，系统维护、故障定位变 分布式日志管理平台，支持日志数量 TB 级别的管 得越来越困难； 理； 4) 大多数产品的异常日志信息只有负责该模块编写的 2) 提供应用规范化日志输出的API ：提供JAVA、C 的 开发人员能知道最本质的含义，且日志格式不一 API 接