PPTVLB日实时分析平台.docxVIP

PPTV LB日志实时分析平台 XinyiZhou xinyizhou@ 11/5 2012 Agenda PPTV LB日志实时分析系统介绍 实际面临的问题 解决方案 系统部署 系统实现 Fluentd(td-agent) MongoDB Python Script(PyMongo module) Zabbix 应用实例 Nginx return code 4xx 5xx 监控 Nginx响应时间监控 告警邮件自动分析程序 LB日志实时分析与自动Release平台的集成 实际面临的问题 PPTV采用Nginx+Keepalived的方式构建Load Balancer，共有约40台LB server，每台承载10-50个域名的流量,我们需要精确的把握所有域名的健康状态（返回码是否正常，4xx/5xx率），及响应时间变化趋势；能够准实时的发现入侵行为； 难点： 日志量大 – 每台LB每天都有几百GB日志(压缩前） 日志分散不易进行统一分析 难以添加有效监控 解决方案(一) awk+grep+bash+gnuplot 最方便的一招，比较灵活，计算准确；但实际使用不方便，看一个域名的日志需要登陆好几台LB E.g. 统计非200的top return code awk {if ($9 ~ /^[0-9]*$/ $9 != 200 $9 !~ /^3/) code[$9]++}END {for ( i in code ) print i code[i]}|sort -k2 –nr 使用gnuplot对统计结果绘图 cut –d’’ –f1-4 log.txt | uniq –c | (echo “plot “-” using 2:1 with lines”;cat)|gnuplot 解决方案(二） Python+zabbix 每台LB均部署python日志分析脚本，通过zabbix调度，每隔五分钟对前五分钟生产的日志文件进行分析，保留分析结果； Zabbix负责绘图和告警； 主要两个缺点： 1）性能瓶颈，日志分析占用大量LB CPU资源 2）不够灵活，日志分析局限于单台LB 解决方案(三） Fluentd+Mongodb+Python+zabbix Fluentd实时收集LB日志，JSON化，存入中央Mongodb Python程序查询Mongodb数据进行实时计算；计算结果存入zabbix；zabbix负责告警及图形展现 P.S. That’s what we want!! Fluentd/Mongodb架构图 Fluentd介绍 开源日志收集工具 / LOG everything as JSON！ JSON:Schema-free, add/remove field from logs at anytime 原始日志： “2012-10-01 host1 myapp: message size=1000 user=xyz” JSON： 2012-10-01 myapp.message { “hostname”: ”host1”, “size”: 1000, “user”: “xyz” } Fluentd/Mongodb数据流图 Fluentd plugin说明(1) 在不使用plugin的情况下Fluentd仅仅是将日志输入转化为JSON格式输出的工具；各类plugin极大拓展了Fluentd的功能 Fluentd plugin有如下三种： Input plugin 定义日志来源标准化，输入的格式 Buffer plugin 定义fluentd缓存的配置以实现可靠性 Output Plugin 定义输出的格式及目的地，可以是文件，网络，数据库，etc Fluentd plugin说明(2) Fluentd Input Plugin http 让fluentd从http client获取数据 tail tail是最常用的input plugin； source type tail path /var/log/httpd-access.log #tail监听的文件地址 tag apache.access #每个输入需要一个特定标签以区别 format apache|syslog|自定义正则 #format可以灵活自定义 /source foward 将其他fluentd/fluent-cat命令的输出作为该fluentd的输入； exec 通过执行外部命令，以命令执行的结果作为fluentd的输入； Fluentd plugin说明(3) Fluentd Output Plugin Ouput Plugin用于存储Fluentd