分布式与云计算_2016610191614711.pptx

F2016Hadoop实验环境搭建及应用分布式与云计算课程实验F第一次实验：6月10日 ?星期五晚6:30—9:30 （hadoop环境搭建）第二次实验：6月17日 ?星期五晚6:30—9:30?（hadoop环境搭建）第三次实验：6月24日 ?星期五晚6:30—9:30?（Map—Reduce分布式编程）第四次实验：7月01日 ?星期五晚6:30—9:30?（实验整体分组检查—1）第五次实验：7月08日 ?星期五晚6:30—9:30?（实验整体分组检查—2）PPT模板：/moban/ PPT素材：/sucai/PPT背景：/beijing/ PPT图表：/tubiao/PPT下载：/xiazai/ PPT教程： /powerpoint/资料下载：/ziliao/范文下载：/fanwen/试卷下载：/shiti/教案下载：/jiaoan/PPT论坛： PPT课件：/kejian/ 语文课件：/kejian/yuwen/数学课件：/kejian/shuxue/ 英语课件：/kejian/yingyu/美术课件：/kejian/meishu/ 科学课件：/kejian/kexue/物理课件：/kejian/wuli/ 化学课件：/kejian/huaxue/ 生物课件：/kejian/shengwu/ 地理课件：/kejian/dili/历史课件：/kejian/lishi/F搭建Hadoop环境Wordcount实验设置无密钥登陆手动配置JDK集群环境搭建F1. 集群环境搭建F分布式环境3台以上机器F设置静态IP地址文章内容XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXF设置hostname （需要重新启动机器生效）$ sudo vim /etc/hostnameF集群信息如下：机器名用户名密码IP地址masterhadoophadoop25slave1hadoophadoop30slave2hadoophadoop31F配置IP地址与机器名的映射关系$ sudo vim /etc/hosts（每台机器均需要配置）F2. 设置无密钥登陆F建立ssh服务$ sudo apt-get install openssh-server$ ssh hadoop@25（每台机器均需要配置）F设置无密钥登陆在个节点生成密钥: $ ssh-keygen上一步会在/home/Hadoop/目录下生成.ssh文件夹将各节点的id_rsa.pub文件集中至master$ scp /home/hadoop/.ssh/id_rsa.pub hadoop@25:~/.ssh/slave1.pub将各节点的id_rsa.pub中的内容追加到authorized_keys文件中$ cat id_rsa.pub ~/.ssh/authorized_keys将authorized_keys文件分发到各节点$ scp ~/.ssh/authorized_keys hadoop@30:~/.ssh/F3. 手动配置JDKF手动配置JDK将文件夹jdk1.7.0_79拷贝到各节点$ scp –r jdk1.7.0_79 hadoop@slave1:~/Cloud/$ scp –r jdk1.7.0_79 hadoop@slave2:~/Cloud/修改/etc/profile文件，在该文件最后追加如下信息更新profile文件 $ source /etc/profileexport JAVA_HOME=/home/hadoop/Cloud/jdk1.7.0export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexport PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATHF手动配置JDK也可以采用分发的方式分发到各节点$ auto_sync_simple.sh jdk1.7.0_79 ~/Cloud/auto_sync_simple.shF4. 搭建Hadoop环境F下载hadoopF解压缩将下载的压缩包移动到目标文件夹，并解压$ cp ~/Downloads/hadoop-2.6.0.tar.gz ~/Cloud$ tar –vzxf hadoop-2.6.0.tar.gzF配置文件如下文件需要配置(hadoop/etc/Hadoop)配置文件职能属性core-site.xmlHadoop core配置项mapred-s