Hadoop技术产品综述.ppt

IDH的中高端网络配置推荐 如果整个集群的负载比较高，或者非常高，这就需要更换性能更好的网络 在较高负载的情况下，可以考虑使用性能更好10GBE以太网络 每一个网络端口的成本会是原来的3倍，但有约10倍的性能提升 一些Hadoop模块，例如HBase能够从低延迟中获得利益，能够提高总体的性能 如果需要的通信量更大，或者需要混合一些高性能计算程序，整个IDH需要更加高端的网络配置 推荐使用InfiniBand网络，InifiBand网络具有更好的实现机制，能够减少网络的冲突 InfiniBand的带宽有10G，20G以及40G的选择，并延迟更短 小规模硬件推荐 4~10个节点，解决较小规模问题 项目 指标 处理器CPU 双路四核服务器处理器，2x4 2.6GHz 内存 32G或者以上内存，DDR3，ECC 磁盘接口 SAS 6GB/s 磁盘 6x或者12x SATA 1T 7200RPM监控级硬盘 网络 两个以太网口 中规模硬件推荐 20+个节点，解决中等规模问题，实际上能够满足大多数中小企业的需求 项目 指标 处理器CPU 双路六核服务器处理器，处理器缓存15MB，2x6 2.9GHz 内存 64G或者以上内存，DDR3，ECC 磁盘接口 SAS 6GB/s 磁盘 6x或者12x SATA 1T或者3T 7200RPM监控级硬盘（依据数据规模而定） 网络 两个以太网口 高端硬件推荐 依据问题规模确定所需要的节点数目，解决大规模问题，使用高端的内存，高速网络 项目 指标 处理器CPU 双路六核服务器处理器，处理器缓存15MB，2x6 2.9GHz，依据应用可以选用更高端的处理器 内存 96G或者以上内存，DDR3，ECC 磁盘接口 2xSAS 6GB/s 磁盘 24x 1TB 告诉SAS硬盘 网络 10Gb以太网口 高端网络可以考虑使用InifinBand网络 Hadoop运行的软件环境 操作系统 Hadoop是在Linux环境下开发的，自然运行的环境也为Linux环境。任何一个支持Java1.6的Linux环境都可以运行Hadoop。为了性能以及配置上的方便，IDH环境使用了RedHat公司的RedHat Linux环境，与之匹配的环境包括CentOS以及Oracle Linux Java运行环境 Hadoop的运行需要一个高于Java1.5.x（5.0.x）的版本的Java运行环境，推荐使用Java1.6.x的运行环境。建议使用Oracle Sun的标准的Java环境，这是一个通过测试的环境 SSH SSH工具能够用来启动远程的命令，Hadoop是一个集群的环境，通过SSH工具能够在一个中心的管理节点上远程启动集群中的其它节点的服务进程 IDH集群的规划，运行角色在节点上的分配 在IDH规划中，除了选取硬件之外，还需要进行角色的规划 角色的规划即确定IDH的某一个运行角色运行在哪个节点之上 与硬件推荐情况一致，首先需要确定IDH集群的本身负载，针对小规模，中规模以及大规模集群有不同的集群规划方案 IDH Hadoop集群典型的节点分配 角色 描述 节点数目 HDFS NameNode 分布式文件系统用以存储文件系统以及数据块的元数据 1个独立节点 HDFS Secondary NameNode NameNode的影子节点 小规模集群可以和NameNode共享节点，大规模集群用独立节点 HDFS DataNode HDFS数据存储 多个独立节点 MapReduce JobTracker MapReduce调度程序 1个独立节点，小规模集群可以与NameNode共享，大规模集群使用独立节点 MapReduce TaskTracker MapReduce实际计算节点 与DataNode运行在相同的节点之上 Hive Hive元数据以及驱动程序 独立配置的话可以与NameNode共享节点，或者将元数据存放在客户端 IDH Hadoop集群典型的节点分配 角色 描述 节点数目 ZooKeeper 用以提供集群高可用性的锁服务 3个或3个以上的奇数的独立节点（小规模可以和其它角色共享节点） HBase HMaster HBase用以调度RegionServer的主模块 与其它角色共享节点的多个节点 HBase RegionServer HBase中用以管理数据的模块 一般与DataNode运行与相同的节点之上 Management Node IDH特有的管理节点 一般为一个独立的节点，如果小规模集群的话可以与其它角色共享 小规模测试集群的规划 小规模测试集群不需要高可用性，无需NameNode的高可用性，将所有的头结点都配置到单个的节点中。配置方案： 头结点Head Node：NN+2NN+JT+ZK+HMaster+IntelMa