许俊-大数据架构下的业务监控.pdf

大数据架构下的大数据架构下的业务监控务监控 许俊@极光 About Me 武汉大学软件工程毕业武汉大学软件工程毕业 极光首位大数据工程师 极光大数据平台负责人 极光产品介绍极光产品介绍 目录 演进演进——寒武寒武纪 在这个时期，陆地下沉，北半球大部被 海水淹没。生物群以无脊椎动物尤其是 三叶虫、低等腕足类为主，植物中红藻 、绿藻等开始繁盛。 我们搭建了Hadoop 集群，业务少，数据少。只有Zabbix 对机器基本指标的监控 。往往第二天业务部门反馈才知道集群出了问题。 ZabbixZabbix 对机器基本指标监控对机器基本指标监控 演进演进——侏罗纪侏罗纪 在这个时期在这个时期，，有造山运动和剧烈的火有造山运动和剧烈的火 山活动。爬行动物非常发达，出现了 巨大的恐龙、空中飞龙和始祖鸟，植 物中苏铁、银杏最繁盛。 集群经常性的故障和业务部门的抱怨，让我们开始重视监控。从每天定时人工 检查CDH 监控，到后来对接CDH 监控到我们自己的告警系统。 CDHCDH监控监控 演进演进——白垩纪白垩纪 在这个时期，造山运动非常剧烈 ，我国许多山脉都在这时形成。 动物中恐龙最盛，鱼类和鸟类很 发达，哺乳动物开始出现。植物 中显花植物很繁盛，也出现了热 带植物和阔叶树。 业务程序越来越多和复杂业务程序越来越多和复杂，对指标的监控要求也越来越高对指标的监控要求也越来越高。同时引入了同时引入了KafkaKafka 等组件，原有的CDH 监控不再能覆盖到。我们基于传统的Zabbix 监控做了 一些定制些定制。 基于基于 ZabbixZabbix 定制的业务监控定制的业务监控 缺点 • 更关注CPU、Memory、Network 等机器指标，对业务指标支持不好 • 只能做简单的记录和展示，无法灵活地发现问题 演进演进——新生代新生代 在这个时期，地壳有强烈的造山运动，早期 的爬行动物绝迹的爬行动物绝迹 ，哺乳动物繁盛哺乳动物繁盛 ，生物达到生物达到 高度发展阶段。 简单的指标监控已经不能满足要求，出现了越来越多的类似 “平均值”、“最 大值”、“求和” 等更灵活多样的需求，这就需要一套更通用和功能丰富的监 控系统。 大数据平台架构大数据平台架构 基于时间序列的监控基于时间序列的监控 选择选择 GraphiteGraphite 的原因的原因 GraphiteGraphite 架构架构 GraphiteGraphite下的魔法下的魔法 — FunctionsFunctions 程序员自己撸的界面程序员自己撸的界面 设计师的页面设计师的页面 — GrafanaGrafana 配置配置 MetricMetric 强大的强大的 collectorcollector aggregatoraggregator — StatsDStatsD 监控的监控监控的监控 — CabotCabot 监控系统架构监控系统架构 应用之应用之KafkaKafka /airbnb/kafka-statsd-metrics2 应用之应用之 FlumeFlume 自定义类 implement org.apache.flume.instrumentation.MonitorService 配置参数配置参数 -Dflume.monitoring.type=org.apache.flume.instrumentation.StatsDMonitorService -DflDflumeme.mmonitnitorinring.statsdSerstatsdServer=192er=192.168168.x.x -Dflume.monitoring.statsdPort=8125 -DflumeDflume.monitoringmonitor