Hadoop的单机模式安装.pptVIP

Hadoop的单机模式安装 1.安装ubuntu 10.10操作系统 1.下载ubuntu-10.10-desktop-i386.iso 2.直接在windows下双击执行wubi.exe。 3.重启进入ubuntu liunx系统 2.ssh的安装和配置 实现ssh无密码登陆 $sudo apt-getinstall openssh-sever$ssh-keygen-trsa-P-f~/.ssh/id_rsa 直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对 出现，类似钥匙和锁。再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys$cat~/.ssh/id_rsa.pub~/.ssh/authorized_keys完成后可以实现无密码登录本机 3.安装jdk $chmod +x jdk-6u24-linux-i586.bin $./jdk-6u24-linux-i586.bin 安装完后设置java 环境变量如下 命令 ： $sudo gedit /etc/profile 然后添加如下语句到/etc/profile 中： export JAVA_HOME=/home/hadoop/jdk1.6.0_14 export JRE_HOME=/home/hadoop/jdk1.6.0_14/jre export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH 4.设定hadoop-env.sh $sudo gedit hadoop-env.sh 在hadoop-env.sh中添加 exportJAVA_HOME=/usr/lib/jvm/java-6-sunexportHADOOP_HOME=/opt/hadoopexportPATH=$PATH:/opt/hadoop/bin 5.设定hadoop配置文件 Hadoop配置文件在conf 这个目录下 1.设定cote-site.sml 命令 $sudo gedit cote-site.sml 在其中添加 configuration? property? namefs.default.name/name? valuehdfs://localhost:9000/value? /property? property? namehadoop.tmp.dir/name? value/tmp/hadoop/hadoop-${user.name}/value? /property? /configuration? 5.设定hadoop配置文件 2. 设定hdfs-site.sml 命令 $sudo gedit hdfs-site.sml 在其中添加 configuration? property? namedfs.replication/name? value1/value? /property? /configuration? 5.设定hadoop配置文件 3.设定mapred-site.xml 命令 $sudo gedit mapred-site.xml 在其中添加 configuration? property? namemapred.job.tracker/name? valuelocalhost:9001/value? /property? /configuration? ? 6.启动hadoop 启动Hadoop $bin/start-all.sh执行画面如：startingnamenode,loggingto/opt/hadoop/logs/hadoop-hadooper-namenode-vPro.outlocalhost:startingdatanode,loggingto/opt/hadoop/logs/hadoop-hadooper-datanode-vPro.outlocalhost:startingsecondarynamenode,loggingto/opt/hadoop/logs/hadoop-hadooper-secondarynamenode-vPro.outstartingjobtracker,loggingto/opt/hadoop/logs/hadoop-hadooper-jobtracker-vPro.out Hadoop部分代码解析 在org.apache.hadoop.mapreduce 中实现了hadoop核心之一的mapreduce过程。 Mapreduce主要分为map和r