05.日志标准化规范初稿.docx

日志标准化规范背景随着互联网络的飞速发展，各行各业已经不限于知道信息，更是挖掘、把握住隐藏在信息后面的信息。海量的数据是一种宝贵的财富，如何按照不同维度、各种口径和规则从海量的、隐含的、杂乱的、重复的web日志或用户访问信息中发现、提炼、分析、统计出有用的知识和应用价值，进而提高服务质量，改进网站的结构和内容，挖掘出有意义的用户访问模式、规则以及相关的潜在用户群等是一件非常有意义的工作。为实时监控网络的异常状态，跟踪网络应用资源的使用情况，实现对众多设备主机日志信息的集中分析和管控，实现各种日志格式的兼容，准确定位出问题的物理服务器和时间段等，目前南航通过统一集中部署SpringAOP（kafa/redis）+ Elasticsearch+Logstash+Kibana日志分析平台实现了对日志收集、存储、搜索、分析、监控及展现，并开放访问接口给开发人员，开发人员以ELK日志分析平台的源数据为基础，对数据进行预处理、维度汇总，进而形成行业上的各种指标。ELK具有强大的搜索和展现功能，它只需安装部署而不需要编写代码，即可进行业务数据分析、错误日志分析及数据预警等。而SpringAop是OOP的延续，它就像刀切豆腐一样横切整个系统，将“关注”封装在切面中，实现了调用者与被调用者之间的解耦合,是需要人工编写相关的代码实现日志的输出的，而在现实中日志记录无统一规范，导致无法准确快速的定位问题或者获取到想要的数据。所以本文将日志的规范重点放在SpringAop上。原则1.集中的日志服务器：在WEB集群节点越来越多的情况下，让开发及系统维护人员能很方便的查看日志信息。2.日志信息输出策略：日志信息输出全而不乱，便于跟踪和分析问题。3.关键业务的日志输出：基于数据采集、数据核查、系统安全等方面的考虑，关键业务系统对输出的日志信息有特殊的要求，需要做针对性的设计。4.支持备份与保密机制：防止日志丢失，敏感信息应加密，分布式文件系统保证可靠性。日志分类日志文件按应用需求功能分为访问日志、应用日志和系统日志。按等级从低到高分为TRACE级、DEBUG级、INFO级、WARN级、ERROR级、FATAL级六级。1．TRACE级、DEBUG级：理论上“不属于错误”，只是打印一些状态、提示信息，以便开发过程中观察，开发完成、正式上线后需要屏蔽。2.INFO级： 理论上“不属于错误”，只是一些提示性的信息，但是即使在开发完成、正式上线的系统中，也有保留的价值。在实际环境中，系统管理员或者高级用户要能理解INFO输出的信息并能很快的了解应用正在做什么。比如，一个和处理机票预订的系统，对每一张票要有且只有一条INFO信息描述 [Who] booked ticket from [Where] to [Where]。3.WARN级：属于轻微的“警告”，程序中出现了一些异常情况，但是影响不大，还可以正常使用。4.ERROR级：属于“普通的错误”，在程序可以控制的范围内，不会造成连锁影响或巨大影响，日志发生之后其实不会导致系统运行出现异常的，可能是对某些数据的初始化深入验证出现的问题。5.FATAL级：属于“致命错误”，开发过程中的try...catch模块中抛出的一些未能预料到的系统错误，可导致整个系统或者一系列功能无法使用，甚至导致系统瘫痪、关闭，必须马上有人进行处理。比如：空指针异常，数据库不可用，如硬盘空间满等，关键业务流程中断等等。代码日志规范1. 【强制】系统应用中不可直接使用日志系统（Log4j、Logback）中的API，而应依赖使用日志框架SLF4J中的API，使用门面模式的日志框架，有利于维护和各个类的日志处理方式统一。import org.slf4j.Logger; import org.slf4j.LoggerFactory; private static final Logger logger = LoggerFactory.getLogger(Abc.class)。2. 【强制】日志文件推荐至少保存15天，因为有些异常具备以“周”为频次发生的特点。3. 【强制】应用中的扩展日志（如打点、临时监控、访问日志等）命名方式：appName_logType_logName.log。logType:日志类型，推荐分类有stats/desc/monitor/visit等；logName:日志描述。这种命名的好处：通过文件名就可知道日志文件属于什么应用，什么类型，什么目的，也有利于归类查找。正例：mppserver应用中单独监控时区转换异常，如：mppserver_monitor_timeZoneConvert.log 说明：推荐对日志进行分类，如将错误日志和业务日志分开存放，便于开发人员查看，也便于通过日志对系统进行及时监控。4. 【强制】对trace