PPTV LB日志实时分析平台最全版.pptVIP

解决方案(一) awk+grep+bash+gnuplot 最方便的一招，比较灵活，计算准确；但实际使用不方便，看一个域名的日志需要登陆好几台LB E.g. 统计非200的top return code awk {if ($9 ~ /^[0-9]*$/ $9 != 200 $9 !~ /^3/) code[$9]++}END {for ( i in code ) print i code[i]}|sort -k2 –nr 使用gnuplot对统计结果绘图 cut –d’’ –f1-4 log.txt | uniq –c | (echo “plot “-” using 2:1 with lines”;cat)|gnuplot * yrty 解决方案(二） Python+zabbix 每台LB均部署python日志分析脚本，通过zabbix调度，每隔五分钟对前五分钟生产的日志文件进行分析，保留分析结果； Zabbix负责绘图和告警； 主要两个缺点： 1）性能瓶颈，日志分析占用大量LB CPU资源 2）不够灵活，日志分析局限于单台LB * yrty 解决方案(三） Fluentd+Mongodb+Python+zabbix Fluentd实时收集LB日志，JSON化，存入中央Mongodb Python程序查询Mongodb数据进行实时计算；计算结果存入zabbix；zabbix负责告警及图形展现 P.S. That’s what we want!! * yrty Fluentd/Mongodb架构图 * yrty Fluentd介绍 开源日志收集工具 / LOG everything as JSON！ JSON:Schema-free, add/remove field from logs at anytime 原始日志： “2012-10-01 host1 myapp: message size=1000 user=xyz” JSON： 2012-10-01 myapp.message { “hostname”: ”host1”, “size”: 1000, “user”: “xyz” } * yrty Fluentd/Mongodb数据流图 * yrty Fluentd plugin说明(1) 在不使用plugin的情况下Fluentd仅仅是将日志输入转化为JSON格式输出的工具；各类plugin极大拓展了Fluentd的功能 Fluentd plugin有如下三种： Input plugin 定义日志来源标准化，输入的格式 Buffer plugin 定义fluentd缓存的配置以实现可靠性 Output Plugin 定义输出的格式及目的地，可以是文件，网络，数据库，etc * yrty Fluentd plugin说明(2) Fluentd Input Plugin http 让fluentd从http client获取数据 tail tail是最常用的input plugin； source type tail path /var/log/httpd-access.log #tail监听的文件地址 tag apache.access #每个输入需要一个特定标签以区别 format apache|syslog|自定义正则 #format可以灵活自定义 /source foward 将其他fluentd/fluent-cat命令的输出作为该fluentd的输入； exec 通过执行外部命令，以命令执行的结果作为fluentd的输入； * yrty Fluentd plugin说明(3) Fluentd Output Plugin Ouput Plugin用于存储Fluentd收集来的数据；目前有很多开源的plugin，如：fluentd-flume,fluentd-splunk,fluentd-cassandra,fluentd-scribe,fluentd-mongodb fluent-plugin-mongo 0.6.10 Output plugin中最完美的当属mongodb plugin，因为Fluentd/Mongodb都以JSON为基础；mongodb良好的插入查询性能可以顶住海量日志实时分析的压力；mongodb的capped collection很好的解决了日志定量轮转的问题 * yrty MONGODB部署 每个机房部署一台mongodb server,用于收集该机房全部LB的日志 每个mongodb部署多个instance，每个instance对应一台LB server 建立多个coll