日志分析变迁史.pdf

日志分析变迁史 -- 51信用卡 目录  DB的select count （2012）  实时日志分析 （2013） 同步方式 （Redis） 异步方式（MongoDB）  大数据分析 （2014） 行为日志（HDFS/Hive/Map-Reduce） 实时分析(Storm)  数据分析平台化 （2015）  引入规则引擎 （2015） DB的SELECT COUNT DB的select count  原始数据积累  仅仅关注每天新增用户、新增邮箱等各种 总数  50万用户内，5台服务器；  整个系统全是同步处理 DB的select count 业务处理 DB 展示页面 DB的select count （异步）  200万用户，20台服务器  整个系统改造成异步处理  主要关注指标是应用层故障指标、同步报 警、各新增指标  开始关注转化率（DB count，定时运行） DB的select count （异步） 业务操作 任务分发 队列 DB 转化率统计 处理 定时Count 报警 展示页面 报警 日志分析从进程内同步队列到异步方式两阶段 日志分析 日志数据分析背景案例  今天邮箱转化率低了？有效用户成本增加。  1.查数据走势  1.1.新增设备总数增加  1.2.注册用户总数增加  1.3.导入用户总数增加 结论数据良好，但成本增加  2.查问题  2.1.查转化率，发现新增设备到导入用户各转化率下降厉害；  2.2.查各渠道转化率，发现积分墙推广的渠道问题。 基于第三方平台仅仅后发现、后分析，需要实时报警、精准推算 实时日志分析背景 基于Count的缺点  实时数据库Count无中间数据，无法同比分析  和业务服务耦合，系统性能消耗大  交叉分析困难  各业务线统计太过分散，重复造轮子，口径不一致算法各异 目标  分离统计和业务服务  实时预警（系统稳定、安全攻击）  运营、产品数据及其转化率  统一数据分析口径  积累基础数据、中间数据 实时分析内容  运营、产品层面  用户数（如：注册用户瞬间变少）  访问数  转化率  渠道  安全、技术层面  服务器、邮件服务  业务服务  网络  访问请求 实时数据监控 业务数据监控  按小时采用最近7天平均，加上浮动，作为阀值  监控值：总数、百分比变化  监控纬度：地域、新增、处理数、转化率 系统数据监控  http:5xx、4xx  网络:tps 、流量  用户:单用户请求数、单设备请求数  服务:rt、可用性、IO 日志分析逻辑设计 客户端 网关 服务器 业务服务