7-Hadoop Streaming 实战： 文件分发与打包.docxVIP

Hadoop Streaming 实战： 文件分发与打包分类：hadoop2011-05-06 14:56432人阅读评论(0)收藏举报如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在，则首先需要将这些文件分发到集群上才能成功进行计算。Hadoop提供了自动分发文件和压缩包的机制，只需要在启动Streaming作业时配置相应的参数。1. –file 将本地文件分发到计算结点2. –cacheFile 文件已经存放在HDFS中，希望计算时在每个计算节点上将文件当作本地文件处理3. –cacheArchive 将存放在HDFS中的压缩包分发并解压-file实战: 使用-file分发本地可执行文件和其他文件a. 待计算的数据放入hdfs $ hadoop fs -put localfile /user/hadoop/hadoopfile b. 编写map、reduce脚本,记得给脚本加可执行权限。mapper.sh view plaincopy to clipboardprint?#!/bin/sh wc -l reducer.shview plaincopy to clipboardprint?#!/bin/sh a=0 while read i do let a+=$i done echo $a hello.txt文件内容：helloworldc. 运行：$ hadoop streaming –input /user/hadoop/hadoopfile -output /user/hadoop/result -mapper ./mapper.sh -reducer ./reducer.sh-file mapper.sh -file reducer.sh -file hello.txt -jobconf mapred.reduce.tasks=1 -jobconf mapre.job.name=sum_testd. 查看结果：$ hadoop fs –cat /user/hadoop/result/part-00000 -cacheFile实战a. 待计算的数据和文件放入hdfs $ hadoop fs -put hello.txt /user/hadoop/b.运行命令（mapper.sh和reducer.sh脚本内容同上）：$ hadoop streaming –input /user/hadoop/hadoopfile -output /user/hadoop/result -mapper ./mapper.sh -reducer ./reducer.sh-file mapper.sh -file reducer.sh -cacheFilehdfs://host：port/user/hadoop/hello.txt#./hello.txt-jobconf mapred.reduce.tasks=1 -jobconf mapre.job.name=sum_test 可以通过配置文件hadoop-site.xml中的fs.default.name配置参数的值得到文件所在的host和port。c. 查看结果：$ hadoop fs –cat /user/hadoop/result/part-00000 -cacheArchive 实战a. 创建一个目录test，目录中包含文件mapper.txt,reducer,hello.txt 修改mapper.sh：view plaincopy to clipboardprint?#!/bin/sh a=`wc -l` #使用参数b=`wc -l $1 | awk {print $1}` let c=a+b echo $c b.压缩文件夹并将压缩文件放入hdfs：$ cd test $ tar –zcvf test.tar.gz * $ hadoop fs –put test.tar.gz /user/hadoop/test/c.运行命令：$ hadoop streaming –input /user/hadoop/hadoopfile -output /user/hadoop/result -mapper “./test/mapper.sh ./test/hello.txt” -reducer ./test/reducer.sh-cacheArchive hdfs://host：port/user/hadoop/test/test.tar.gz#test -jobconf mapred.reduce.tasks=1 -jobconf mapre.job.name=sum_test d. 查看结果：$ hadoop fs –cat /user/hadoop