HadoopHadoop集群监控与Hive高可用向磊幻灯片.pptVIP

Hadoop集群监控与Hive高可用 -- 向磊 Page ? * Hadoop集群监控Cacti 默认Cacti模板太少 增加模板 我们的模板磁盘IO内存详情单个内核使用CPU总和及IOWaitJMX支持监控Hadoop Page ? * Hadoop集群监控Cacti 优点监控每台服务器的详细数据SNMP采集数据可以自己定义相比zabbix：无需客户端 安装配置简单spine采集速度快模板众多 支持IPMI 缺点SNMPD为UDP协议，不够稳定无法获知集群整体运行状况 Page ? * Hadoop集群汇总监控Ganglia Page ? * Hadoop集群汇总监控Ganglia 优点集群总体状况和负载汇总采用多播地址降低带宽占用TCP采集 数据稳定hadoop原生支持ganglia数据采集 缺点配置稍复杂，需安装客户端单台数据不如cacti详细 Page ? * Hive高可用集群 Hive存在的问题单一节点Hive Thrift Server故障导致任务失败 高可用方案多个Hive Thrift Server节点HAProxy+Hive HAProxy在实际应用中出现过的问题和优化Hive日志问题轮询方式优化仍存在不稳定因素，其他方式解决 HAProxy+Hive