IDHHadoop运行的软硬件环境.pdf

IDH 运行的软硬件环境 IDH Hadoop运行的软硬件环境 标准的x86的服务器 以太网络 多机架数据中心 软件环境 硬件的选择 （处理器，硬盘，网络） IDH Hadoop集群中的模块逻辑结构 HDFS MapReduce HBase Hive …… 客户端 客户端 客户端 客户端 Hadoop 集群 管理节点 HDFS MapReduce HBase HHiivvee …… 节点1 节点2 节点3 …… 节点N IDH Hadoop集群典型的节点分配 角色 描述 节点数目 HDFS NameNode 分布式文件系统用以存储 1个独立节点 文件系统以及数据块的元 数据 HDFS Secondary NameNode的影子节点 小规模集群可以和 NameNode NameNode共享节点，大 规模集群用独立节点 HDFS DataNode HDFS数据存储 多个独立节点 MapReduce JobTracker MapReduce调度程序 1个独立节点，小规模集 群可以与NameNode共享， 大规模集群使用独立节点 MapReduce MapReduce实际计算节 与DataNode运行在相同 TaskTracker 点 的节点之上 Hive Hive元数据以及驱动程序 独立配置的话可以与 NameNode共享节点，或 者将元数据存放在客户端 IDH Hadoop集群典型的节点分配 角色 描述 节点数目 ZooKeeper 用以提供集群高可用性的 3个或3个以上的奇数的独 锁服务 立节点（小规模可以和其 它角色共享节点） HBase HMaster HBase用以调度 与其它角色共享节点的多 RegionServer的主模块 个节点 HBase RegionServer HBase中用以管理数据的 一般与DataNode运行与 模块