Hadoop集群监控与Hive高可用向磊幻灯片.pptVIP

  • 13
  • 0
  • 约1.54千字
  • 约 17页
  • 2018-03-26 发布于未知
  • 举报

Hadoop集群监控与Hive高可用向磊幻灯片.ppt

尚辅网 / Hadoop集群监控与Hive高可用 -- 向磊 Page ? * Hadoop集群监控Cacti 默认Cacti模板太少 增加模板 我们的模板 磁盘IO 内存详情 单个内核使用 CPU总和及IOWait JMX支持监控Hadoop Page ? * Hadoop集群监控Cacti 优点 监控每台服务器的详细数据 SNMP采集数据可以自己定义 相比zabbix:无需客户端 安装配置简单 spine采集速度快 模板众多 支持IPMI 缺点 SNMPD为UDP协议,不够稳定 无法获知集群整体运行状况 Page ? * Hadoop集群汇总监控Ganglia Page ? * Hadoop集群汇总监控Ganglia 优点 集群总体状况和负载汇总 采用多播地址降低带宽占用 TCP采集 数据稳定 hadoop原生支持ganglia数据采集 缺点 配置稍复杂,需安装客户端 单台数据不如cacti详细 Page ? * Hive高可用集群 Hive存在的问题 单一节点Hive Thrift Server故障导致任务失败 高可用方案 多个Hive Thrift Server节点 HAProxy+Hive HAProxy在实际应用中出现过的问题和优化 Hive日志问题 轮询方式优化 仍存在不稳

文档评论(0)

1亿VIP精品文档

相关文档