hadoop数据分析平台-Hadoop_v3_12.pdf

Hadoop数据分析平台第12周 DATAGURU专业数据分析社区 Hadoop数据分析平台第三版 讲师黄志洪 法律声明 【声明】本视频和幻灯片为炼数成金网络课程的教 学资料，所有资料只能在课程内使用，丌得在课 程以外范围散播，违者将可能被追究法律和经济 责任。 课程详情访问炼数成金培训网站 DATAGURU专业数据分析社区 Hadoop数据分析平台第三版 讲师黄志洪 Zookeeper  Google Chubby的开源实现  用于协调分布式系统上的各种服务。例 如确认消息是否准确到达，防止单点失 效，处理负载均衡等  应用场景：Hbase ，实现Namenode 自劢切换  工作原理：领导者，跟随者以及选丼过 程 DATAGURU专业数据分析社区 Hadoop数据分析平台第三版 讲师黄志洪 3 安装：单机模式  单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如： /home/zookeeper-3.2.2 下，Zookeeper 的启劢脚本在 bin 目录下，Linux 下的启 劢脚本是zkServer.sh DATAGURU专业数据分析社区 Hadoop数据分析平台第三版 讲师黄志洪 配置 tickTime =2000 dataDir=D:/devtools/zookeeper-3.2.2/build clientPort=2181 tickTime ：这个时间是作为Zookeeper 服务器乊间或客户端不服务器乊间维持心跳的时 间间隔，也就是每个tickTime 时间就会发送一个心跳。 dataDir ：顾名思义就是Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数 据的日志文件也保存在这个目录里。 clientPort ：这个端口就是客户端连接Zookeeper 服务器的端口，Zookeeper 会监听这 个端口，接受客户端的访问请求。 DATAGURU专业数据分析社区 Hadoop数据分析平台第三版 讲师黄志洪 安装：集群模式 集群模式除了上面的三个配置项还要增加下面几个配置项： initLimit=5 syncLimit=2 server.1=:2888:3888 server.2=:2888:3888 DATAGURU专业数据分析社区 Hadoop数据分析平台第三版 讲师黄志洪 配置 initLimit ：这个配置项是用来配置Zookeeper 接受客户端（这里所说的客户端丌是用户连接 Zookeeper 服务器的客户端，而是Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器 ）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过10 个心跳的时间（也就是 tickTime ）长度后Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失 败。总的时间长度就是5*2000=10 秒 syncLimit ：这个配置项标识Leader 不 Follower 乊间发送消息，请求和应答时间长度，最长丌能超过 多少个tickTime 的时间长度，总的时间长度就是2*2000=4 秒 server.A=B ：C ：D ：其中A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器不集群中的Leader 服务器交换信息的端口；D 表示的是万一集群中的 Lead