炼数hadoop数据分析平台hadoop_v2_12.pdf

Hadoop数据分析平台 第12周 DATAGURU专业数据分析社区 Hadoop数据分析平台第二版 讲师黄志洪 法律 【 】本 和幻灯片为炼数成金网络课程的教 学资料，所有资料只能在课程内使用，不得在课 程以外范围散播，违者将可能被追究法律和经济 责任。 课程详情 炼数成金培训网站 DATAGURU专业数据分析社区 Hadoop数据分析平台第二版 讲师黄志洪 Zookeeper  Google Chubby的开源实现  用于协调分布式系统上的各种服务。例 如确认消息是否准确到达，防止单点失 效，处理负载均衡等  应用场景：Hbase ，实现Namenode 自动切换  工作原理：领导者，跟随者以及选举过 程 DATAGURU专业数据分析社区 Hadoop数据分析平台第二版 讲师黄志洪 3 安装：单机模式  单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如： /home/zookeeper-3.2.2 下，Zookeeper 的启动脚本在 bin 目录下，Linux 下的启 动脚本是 zkServer.sh DATAGURU专业数据分析社区 Hadoop数据分析平台第二版 讲师黄志洪 配置 tickTime=2000 dataDir=D:/devtools/zookeeper-3.2.2/build Port=2181 tickTime ：这个时间是作为Zookeeper 之间或 端与 之间维持心跳的时 间间隔，也就是每个 tickTime 时间就会发送一个心跳。 dataDir ：顾名思义就是Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数 据的日志文件也保存在这个目录里。 Port ：这个端口就是 端连接Zookeeper 的端口，Zookeeper 会 这 个端口，接受 端的 请求。 DATAGURU专业数据分析社区 Hadoop数据分析平台第二版 讲师黄志洪 安装：集群模式 集群模式除了上面的三个配置项还要增加下面几个配置项： initLimit=5 syncLimit=2 server.1=192.168.211.1:2888:3888 server.2=192.168.211.2:2888:3888 DATAGURU专业数据分析社区 Hadoop数据分析平台第二版 讲师黄志洪 配置 initLimit ：这个配置项是用来配置Zookeeper 接受 端（这里所说的 端不是用户连接 Zookeeper 的 端，而是Zookeeper 集群中连接到 Leader 的 Follower ）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过10 个心跳的时间（也就是 tickTime ）长度后Zookeeper 还没有收到 端的返回信息，那么表明这个 端连接失 败。总的时间长度就是 5*2000=10 秒 syncLimit ：这个配置项标识Leader 与 Follower 之间发送消息，请求和应答时间长度，最长 超过 多少个 tickTime