曾勇-实时运维数据学案.pdf

实时运维 数据分析 ELK介绍及Elascsearch调优 Medcl，2014-10-17 关于我 ?? 曾勇/Medcl ?? m@ ?? hp:// ?? hp:///medcl ?? hp:///medcl 出错了 App又崩了 网站打不开了 客户找上门 客户: 昨天11点12分报错了，什么情况？ 我： 不会吧？不能吧。 你再试试，我看看报错没有。。。 客户： 擦！ 之前的做法 ?? 登陆服务器： –? ssh ops@01 ?? 怎么看日志： –? head、tail、grep、wc、awk、count、cut等 ?? 日志在哪里： –? Nginx –? Tomcat –? MySQL –? Redis –? PHP –? 等等 手忙脚乱~ 搞不定了 单个日志文件上百GB！ 先别死啊，还100 台服务器没查呢！！ 实时查看和分析 清晰直观可视化 简单，小白也能使用 统计结果 最好不用等到明天 那接下来就要问了，开源的 日志分析处理哪家强？ The ELK-Stack Elascsearch Logstash Kibana 大纲 ?? ELK Introducon ?? ELK@医树网 ?? Elascsearch使用经验点滴 ?? FAQ 基于Hadoop？ ?? 比较适合结构化数据 ?? 架构复杂，运维成本高 ?? 非实时，适合离线任务 ?? 分析处理需专业人士 The ELK-Stack Elascsearch –? 帮你搞定海量日志数据 ?? 海量存储 ?? 实时检索 ?? 实时 分析 Logstash Kibana Elascsearch介绍 ?? Full Text Search Analysis Engine ?? Lucene Based，Wrien in Java ?? “Distributed, (Near) Real Time, Search Engine” ?? RESTful，JSON，HTTP，Easy To Debug ?? Free Schema（Dynamic Mapping） ?? MulTenant（Share One Instance） ?? Scalable，From One Node To One Thousand Node ?? High Availability ?? Rich Search Features ?? Good Extensibility（via Plugin） ?? Open Source（Apache 2.0） ?? Created by Shay Bannon（Kimchy） 我与elascsearch ?? 2010年接触elascsearch ?? elascsearch第一个.net客户端：ElascSearch.Net ?? elascsearch中文社区发起人 ?? 写过一堆elascsearch插件 –? elascsearch-analysis-ik –? elascsearch-analysis-mmseg –? elascsearch-analysis-string2int –? elascsearch-analysis-stconvert –? elascsearch-river-email –? elascsearch-analysis-pinyin –? elascsearch-paralupdate –? elascsearch-?lter-redis –? elascsearch-carrot2 –? elascsearch-analysis-p