hadoop高可用.docx

课程大纲（HADOOP高可用机制）HA运作机制什么是HAHADOOP如何实现HAHDFS-HA详解HA集群搭建目标：掌握分布式系统中HA机制的思想掌握HADOOP内置HA的运作机制掌握HADOOP2.x的HA集群机制配置1 Hadoop的HA机制前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制1.1 HA的运作机制（1）hadoop-HA集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务）实现高可用最关键的是消除单点故障hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA（2）HDFS的HA机制详解通过双namenode消除单点故障双namenode协调工作的要点：A、元数据管理方式需要改变：内存中各自保存一份元数据Edits日志只能有一份，只有Active状态的namenode节点可以做写操作两个namenode都可以读取edits共享的edits放在一个共享存储中管理（qjournal和NFS两个主流实现）B、需要一个状态管理功能模块实现了一个zkfailover，常驻在每一个namenode所在的节点每一个zkfailover负责监控自己所在namenode节点，利用zk进行状态标识当需要进行状态切换时，由zkfailover来负责切换切换时需要防止brain split现象的发生1.2 HDFS-HA图解：