《实时志检索分析应_ELKstack@sina_ARGV》.pdf

实时⽇志检索分析应⽤ ELKstack@sina ⾃我介绍 • 先后给CloudEx, C, RenRen, Sina 重启 服务器； • 精通echo/say/puts/console.log(“Hello World”); • 写过 《⽹站运维技术与实践》； • 翻过 《Puppet 实战⼿册》； • 微博账号：@ARGV ，求关注。 内容概要 • ELKstack集群概况 • ELKstack场景⽰例 • 从ELK到ERK的演进 • LERK性能优化细节 ERK集群规模 • 26 个datanode: • 2.4Ghz*8, 42G, 300G *10 RAID5 • 25种⽇志，7天，650亿条数据，6万个字段 • 单⽇数据8TB ，写⼊峰值19万qps • 10 个rsyslog/logstash • rsyslog/logstash/kibana都有⼆次开发 • 使⽤⼈员：故障管理组，客户端开发，服务端开发，运维 • 维护⼈员：我*0.8 kopf 数据状态和设置调整 bigdesk 节点性能数据实时监控 zabbix trapper 关键指标的监控和报警 But ，为什么要ELK？ 先说说⽇志能⼲嘛 • 找问题 • data-driven develop/test/operate • 安全审计 • Laws of Marcus J. Ranum • 监控 • Monitoring is the aggregation of health and performance data, events, and relationships delivered via an interface that provides an holistic view of a systems state to better understand and address failure scenarios. @etsy ⽇志分析的难点(1) • timestamp + data = log • 好，昨晚23:12到23:29那会⼉⽇志有啥异常？ ⽇志分析的难点(2) • ⽂本内容⾮结构化数据 ⽇志分析的难点(2) • grep/awk只能单机跑 ⽇志分析的难点(3) • 格式复杂不⽅便可视化效果 So... • 我们需要⼀个 实时⼤数据搜 索平台 • 不过，splunk好贵好贵... • 只能⾃⼰拼开源玩具了~ ELKstack简明⼊⻔ Hello World # bin/logstash -e ‘input{stdin{}} output{stdout{codec=rubydebug}}’ Hello World { message = Hello World, @version = 1, @timestamp = 2014-08-07T10:30:59.937Z, host = raochenlindeMacBook- Air.local, } How Powerful • $ ./bin/logstash -e ‘input{generator{count=10000 0000000} output{stdout{codec=dots}}}’ | pv -abt /dev/null • 15.1MiB 0:02:21 [ 112kiB/s] How scaling Talk is cheap, 
 show me the case! php记录的⽇志 logstash相关配置