hadoop开发环境搭建.docxVIP

?Hadoop分布式的好处：DFS 为基础的分布式计算框架和key、value 数据高效的解决运算的瓶颈，而且开发人员不用再写复杂的分布式程序，只要底层框架完备开发人员只要用较少的代码就可以完成分布式程序的开发，这使得开发人员只需要关注业务逻辑的即可Hadoop的window开发环境搭建流程：Cygwin的安装：1从cygwin官网下载cygwin，安装的组件有：net :openssl openssh ;editors:vim;devel:subversion一路安装完成。2安装jdk3配置jdk环境变量，CYGWIN =ntsec? path添加：c:/cygwin/bin;c:/cygwin/usr/bin及jdk path。4ssh-host-config配置sshd服务过程如下：*** Query: Should privilege separation be used? (yes/no) yes #输入yes*** Query: Do you want to install sshd as a service?　　　　*** Query: (Say no if it is already installed as a service) (yes/no) yes #输入yes*** Query: Enter the value of CYGWIN for the daemon: [ntsec] ntsec #输入ntsec*** Query: Do you want to use a different name? (yes/no) no #输入no，不指定启动用户　　　　*** Query: Create new privileged user account cyg_server? (yes/no) no #输入no，不指定启动用户*** Query: Do you want to proceed anyway? (yes/no) yes #输入yes启动ssh服务：cygrunsrv --start sshd启动window服务：services.msc查看一下，没启动重装。net user 查看组用户出现sshd用户为正常Hadoop的安装：1将Hadoop0.2.02jar文件下载到home/Admin/下。2解压缩3配置文件：包括 hadoop-env.sh? ， core-site.xml, hdfs-site.xml, mapred-site.xml ， masters ， slaves一共 6 个文件。配置如下：hadoop-env.shexport JAVA_HOME=/cygdrive/d/jdk1.6.0_10export HADOOP_CLASSPATH=/home/hhp/hadoop-0.20.2core-site.xml：??property?? name/name?? valuehdfs://0:9000/value?/property?hdfs-site.xmlproperty?? namedfs.replication/name?? value1/value/property?mapred-site.xml :property?? namemapred.job.tracker/name?? value 0 :9001/value?/property????4免密码ssh设置操作如下：ssh-keygen –t rsa –P ‘’ ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys用以下这个测试：ssh localhost5格式化namenodebin/hadoop namenode –format只格式一次，下次启动不用格式5启动hadoop守护进程bin/start-all.sh测试如下：NameNode - http://localhost:50070/JobTracker -?http://localhost:50030/配置eclipse：1将插件hadoop-eclipse-plugin-0.20.3-SNAPSHOT 放入eclipse启动eclipse配置9001 90002：切换到mapreduce透视图，可以看到大象就好。3.新建 Map/Reduce工程并运行?????? 新建 Map/Reduce project, 即可在工程中建立 Mapper，Reducer，MapReduce Driver类，如图：???4. 运行如下示例：? Mapper代码如下：package?test.map;import?java.io.IOException;import?java.util.StringTok