基于Kibana和ES的苏宁实时志分析平台.PDF

基于Kibana和ES的苏宁实时⽇志分析平台 苏宁云商IT总部技术总监-彭燕卿 2016.11.21 Elastic{ON} DevChina – Dec 10, 2016 1 Agenda • 集群现状 • ⽇志平台架构演进 • ⽇常优化总结 • 运维⼩技巧 • Kibana4⼆次开发 2 集群现状 • 126个数据节点，7个cluster ，12C/128G/2T SATA、16C/128G/3T SSD、 12C/128G/16T • 接⼊苏宁近2000个系统的应⽤⽇志、web访问、缓存、应⽤防⽕墙等⽇志 • ⼤促每天新索引25T数据，doc数超过450亿条 • open 1100索引、130T、2500亿数据、20000 shard、7天存储 • 峰值90W/s数据写⼊ • 平均每个doc 0.6kb 3 整体架构 • 实时⽇志平台采⽤的是flume+Kafka+Elasticsearch+Kibana的部署架构。 •