Hadoop开发环境搭建(Win8 + Eclipse + Linux).docxVIP

Hadoop开发环境搭建（Win8+Linux）常见的Hadoop开发环境架构有以下三种：Eclipse与Hadoop集群在同一台Windows机器上。Eclipse与Hadoop集群在同一台Linux机器上。Eclipse在Windows上，Hadoop集群在远程Linux机器上。点评：第一种架构：必须安装cygwin，Hadoop对Windows的支持有限，在Windows上部署hadoop会出现相当多诡异的问题。第二种架构：Hadoop机器运行在Linux上完全没有问题，但是有大部分的开发者不习惯在Linux上做开发。这种架构适合习惯使用Linux的开发者。第三种架构：Hadoop集群部署在Linux上，保证了稳定性，Eclipse在Windows上，符合大部分开发者的习惯。本文主要介绍第三种Hadoop开发环境架构的搭建方法。Hadoop开发环境的搭建分为两大块：Hadoop集群搭建、Eclipse环境搭建。其中Hadoop集群搭建可参考官方文档，本文主要讲解Eclipse环境搭建（如何在Eclipse中查看和操作HDFS、如何在Eclipse中执行MapReduce作业）。搭建步骤：搭建Hadoop集群（Linux、JDK6、Hadoop-1.1.2）在Windows上安装JDK6+在Windows上安装Eclipse3.3+在Eclipse上安装hadoop-eclip