2-hadoop环境构建v01.pptVIP

课程安排 2014/09 Hadoop环境构建 构建Hadoop集群 课程目标 了解Hadoop安装的三种模式 能独立熟练完成Hadoop的安装 熟悉Hadoop的配置与管理 能够利用基准测试程序测试Hadoop集群 构建Hadoop集群 课程大纲 集群规范 构建Hadoop集群 Hadoop配置 Hadoop实验-基准测试 集群规范 集群硬件要求 不适用RAID的原因 集群部署建议 集群网络拓扑 集群硬件要求 Hadoop运行在商业硬件上，注意两个问题： 商业硬件并不等同于低端硬件，低端机器便宜的零部件会导致维护成本巨大。 也不建议构建在大型机器上，因为集群服务器较少，某一台出现故障，对整个集群影响较大。（故障硬件所占的比重增大了） 集群硬件的基本要求： 尽管集群采用的机器硬件会有所不同，但Hadoop一般使用多核CPU和多磁盘，以便充分利用现代化硬件的强大功能。 不适用RAID的原因 RAID可以作为namenode的外部存储器以避免元数据冲突 但不会给HDFS带来好处；HDFS本身已满足数据备份需求。 尽管RAID条带化（RAID 0）技术被广泛用于提升性能，但其速度仍然比HDFS的JBOD（Just a Bunch Of Disks）慢 JBOD配置的某一磁盘出现故障，HDFS还可以忽略该磁盘继续工作，RAID的某一盘片故障可能会导致整个磁盘阵列不可用。 集群部署建议 集