hadoop安装配置及mapreduce网站.docVIP

Hadoop是一个易于安装易于使用的系统，他既适用于云计算的新人学习，也适用于对云计算已经有一定研究的人深入学习（包括网格计算，并行计算等等）。Hadoop源于nutch，hadoop的两位创始人想开发一款开源的网络搜索引擎，但是在管理大量计算机时遇到了问题。后来google发表了关于GFS与MapReduce的论文，他们把论文中的思想应用到了Nutch中。最初他们把系统应用与20台机器上，但是很快他们发现为了处理互联网上的数据，他们需要上千台机器，这个问题超出了两个人能解决的程度。这是yahoo对hadoop产生了兴趣并成立开发小组帮助他们将这部分内容从nutch中分离出来，成为一个独立的系统，取名hadoop。 Nutch也是hadoop的顶级项目之一（详见/） ，hadoop源于nutch，也独立于nutch。虽然两者已经互相独立，但是还有很紧密的联系。与此类似，hadoop也并不是一个单独的项目，hadoop内出了最基本的hadoop common外，还有hdfs，mapreduce，zookeeper。同时也有一些相关项目，比如avro，chukwa，hbase，hive，mahout，pig（这些项目中很多都是从hadoop的子项目升级为apache的顶级项目的，由此可见hadoop的火热）。 对于新手，我们推荐按照默认方式安装hadoop，即同时安装hadoop co