大数据技的术原理与应用第二章大数据处理架构Hadoop.pptVIP

2.4.5 集群的建立与安装 采购好相关的硬件设备后，就可以把硬件装入机架，安装并运行Hadoop 安装Hadoop有多种方法： （1）手动安装 （2）自动化安装 为了缓解安装和维护每个节点上相同的软件的负担，可以使用一个自动化方法实现完全自动化安装，比如Red Hat Linux’ Kickstart、Debian或者Docker 自动化安装部署工具，会通过记录在安装过程中对于各个选项的回答来完成自动化安装过程。 2.4.6 Hadoop集群基准测试 如何判断一个Hadoop集群是否已经正确安装？可以运行基准测试 Hadoop自带有一些基准测试程序，被打包在测试程序JAR文件中 用TestDFSIO基准测试，来测试HDFS的IO性能 用排序测试MapReduce：Hadoop自带一个部分排序的程序，这个测试过程的整个数据集都会通过洗牌（Shuffle）传输至Reducer，可以充分测试MapReduce的性能 2.4.7 在云计算环境中使用Hadoop Hadoop不仅可以运行在企业内部的集群中，也可以运行在云计算环境中 可以在Amazon EC2中运行Hadoop。EC2是一个计算服务，允许客户租用计算机（实例），来运行自己的应用。客户可以按需运行或终止实例，并且按照实际使用情况来付费 Hadoop自带有一套脚本，用于在EC2上面运行Hadoop 在EC2上运行Hadoo