《海量数据挖掘-王永利》Hadoop搭建流程及WordCount程序运行.docVIP

海量数据分析实验报告 韩晨 214106000067 实验一 Hadoop搭建流程及WordCount程序运行 本文介绍的是在下安装用三台PC安装完成Hadoop集群并运行好第一个Hello World的过程，软硬件信息如下： ·slave-0 组装的台式机 ·slave-1 组装的台式机 开始 。 输入root的账户密码，并新建用户账户和密码 区别用户名与主机名：主机名一般默认为localhost。在这里将主机名在安装时即设置为master/slave-0/slave-1。 选择桌面版本安装 2 安装好后，root账户登录进行开发环境的搭建和安装。 3 开始安装jdk 使用终端进入存放jdk-6u24-linux-i586.，我的位置是:/。 该版本默认安装了较低版本的JDK，需要先进行清除。需要进行清除的两个地方是：/usr/bin和/usr/lib，在这两个地方删除java相关的文件即可。 JDK安装包一般解压到/usr/local路径下 需要设置的环境变量为：JAVA_HOME/PATH/CLASSPATH。设置环境变量的文件是：/etc/profile。 4 hadoop安装和运行 （2）需要在/etc/profile中设置HADOOP_HOME，并将命令文件夹导入到PATH中，以实现在终端中直接调用。 ?5 Hadoop集群配置 ? ? 修改三台主机的hosts文件 ? ? vi /etc/hosts 加入如下四行，分别修改为你的master机器和slave机器的ip地址即可 ? ? Step2:修改主机名 vi /etc/? ? 各自改为master,slave-1,slave-0 Step3:配置master免SSH登录slave （2）在master上生成密钥 ? ? ssh-keygen -t dsa -P 此时会在~/.ssh文件夹下生成认证文件（id_dsa和id_dsa.pub）。 ? ? #cat ~/.ssh/id_dsa.pub ~/.ssh/authorized_keys 然后用将~/.ssh文件下的所有文件拷贝到两台slave机器即可。 输入命令 #cd ~/.ssh #scp authorized_keys slave-1@slave-1:~/.ssh/ #scp authorized_keys slave-0@slave-0:~/.ssh/ ? ? Step4:修改三台主机的配置文件? #vi /home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh ? ? 加入：export JAVA_HOME=/usr/lib/jdk1.6.0_24 （更改为自己的目录） #vi /home/hadoop/hadoop-1.2.1/conf/core-site.xml ? ? 加入： ? ? configuration property name/name valuehdfs://master:9000/value /property property namefs./name value/opt/data/hadoop-tmp/value /property /configuration 第三处： #vi /home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml 第四处： mapred-site.xml设置jobtracker的地址和端口号。 vi /home/hadoop/hadoop-1.2.1/conf/mapred-site.xml configuration property namemapred.job.tracker/name valuemaster:9001/value /property /configuration 第五处：在master机器上修改hadoop-1.2.1/conf/masters： vi /home/hadoop/hadoop-1.2.1/conf/masters 加入 master vi /home/hadoop/hadoop-1.2.1/conf/slaves 加入 slave-1 slave-0 5?启动hadoop： 初次运行需要进行格式化： 输入命令：#hadoop namenode –format #start-all.sh启动整个集群 在slaves上进行启动datanode和tasktracker（缺一不可） 输入命令： #hadoop-daemon.sh datanode start #hadoop-daem