基干日志探析商业银行应用系统画像初探.docVIP

基于日志分析的商业银行应用系统画像初探 　　 【摘要】商业银行应用系统每时每刻都在产生日志数据，这些日志种类繁杂，格式多样，散落在生产系统的各个角落，往往只有在系统出现问题时才会临时到日志中去查找和分析，大部分日志数据都会在暂存一段时间后被永久清理。本文针对商业银行日志分析面临的数据量大、日志格式不规范、存储分散及用途单一等问题，提出一种基于日志分析的商业银行应用系统画像架构，能够实现对日志文件的有效分析，从中提取出有效的信息来指导生产、优化决策 【关键词】日志分析 应用系统画像 大数据 一、引言 随着商业银行业务规模的不断发展，各类应用系统的数量和规模也迅速增长，其所产生的数据量也越来越大。在这些日益增长，趋近海量的数据中，除了核心的业务数据之外，还存在着一类规模巨大且未得到有效利用的数据，这就是日志数据。商业银行应用系统每时每刻都在产生日志数据，这些日志种类繁杂，格式多样，散落在生产系统的各个角落，往往只有在系统出现问题时才会临时到日志中去查找和分析，大部分日志数据都会在暂存一段时间后被永久清理。而这些日志文件作为应用系统在实际生产运行过程中的忠实记录者，包含了大量能够反映出应用系统运行情况的有效信息，这些信息可以对系统的优化、运维以及运营带来重要的决策参考。因此，如何克服当前商业银行应用系统中存在的日志量巨大、日志分布情况复杂、日志记录格式不规范等问题，实现对日志文件的有效分析，从中提取出有效的信息来指导生产、优化决策，成为商业银行IT部门面临的一项重大问题 二、应用系统画像 目前大数据领域一个较为前沿的研究热点就是用户画像（Personas）[1]，所谓用户画像，即根据用户的一些基本信息及行为数据进行分析，在不同的维度，抽象出能够反映用户特征的标签，用标签的集合对用户进行描述。简言之，用户画像的核心即是标签的集合，根据不同的应用场景，定义不同的标签，再根据不同用户的标签，针对不同用定义不同的营销及推送策略，是用户画像在大数据领域的一个典型应用[2] 同样，对于商业银行的众多应用系统，每个应用系统都具有不同的运行特征，通过对这些不同的运行特征进行提取和归纳，形成相应的标签，其所组成的集合，也即本文所提出的应用系统画像 应用系统画像与日志分析可以完美的结合[3]，从日志中能够提取到应用系统不同维度的有效信息，通过对这些信息进行计算，形成特征，而从这些特征中归纳出的标签的集合，即应用系统画像，又可以直观的让人们认知这个系统，从而对系统的运行特征、业务特征、性能特征等方面有一个充分的了解，进而对应用系统进行系统运维或运营策略的调整 三、商业银行日志研究现状分析 商业银行日志中类繁多，用途各有不同，经过前期的调查与研究，商业银行目前的日志大致可分为以下几个大类： （1）交易日志：交易日志是指系统所记录的业务流水、交易报文等信息，可用于分析系统的业务特征，如交易量、活跃客户数、交易流动性等 （2）应用日志：应用日志包括系统自身所记录的程序日志、数据日志以及后台服务日志，可用于分析该应用的运行情况，包括异常率、异常种类、响应时间等 （3）系统日志：系统日志记录了系统所部属的物理载体的运行情况，包括内存使用率、CPU占用率、磁盘使用率等 （4）运维与操作日志：运维与操作日志记录了系统的变更、应急以及日常操作行为，包括变更频率、变更成功率、应急次数、登录次数、登录时长等信息，可用于分析系统的奖状性、稳定性和安全性 （5）网络日志[4]：网络日志记录了应用系统的网络状态，包括丢包率、拥堵情况、带宽变化等，可用于分析该系统的网络联通性、交易顺畅性 以上五类日志，涵盖了商业银行应用系统的大部分日志，而目前这五类日志并未得到广泛的应用和分析，大部分日志都设置了清理策略，在暂存一段时间后都会被永久删除。究其原因，一方面是因为目前日志数据的分析和管理尚未引起高度重视，目前银行的应用系统仍然以响应业务为第一要素，系统上线后的运维也仅限于保证业务连续性等方面，虽然近些年来已经有一些利用大数据技术对系统数据进行分析的探索，但并未十分深入;而另一方面，也是由于对于日志的分析确实存在一些难点和问题。通过商业银行目前日志存储、产生、利用等相关情况的调查和分析，商业银行日志数据目前面临的几个问题主要有以下几个： （1）日志规模大：以某国有银行为例，仅网银系统（仅包括企业、个人、手机等）一天产生的日志数量就达到71GB，这还仅仅是应用日志及交易日志，如果再加上系统日志、数据库日志、网络日志等数据，保守估计每日会产生近100GB的日志数据。而网银系统仅仅是商业银行信息系统中的一部分，核心业务系统、信贷系统、基金理财系统，每类系统每天都会产生大量的日志数据，传统的日志分析方法，如利用Linux