原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
5MapReduce分布式离线批处理
5.1实验背景
MapReduce是一种简化并行计算的编程模型，名字源于该模型中的两项核心操
作：Map和Reduce。Map将一个作业分解成为多个任务，Reduce将分解后多
个任务处理的结果汇总起来，得出最终的分析结果。
本实验面向于零开发基础的大数据HCIA学员。通过运行样例代码，让学员体验
大数据开发流程，加深对MapReduce工作过程的理解。
5.2实验前提
实验环境创建成功后，请等待1-2分钟，后台在执行start-oms.sh脚本：
1.执行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看
OMS的状态，显示信息表示主备OMS服务启动正常再执行下一步。
2.在windows-client打开GoogleChrome浏览器登录FusionInsightManager
地址（00:8080/web）。
3.用户名admin，密码Huawei!@34（如原密码过期，则自行修改密码）
4.登录FusionInsightManager后，单击“服务管理”，选择“更多操作启动集
群”。
5.在弹出的提示框中单击“确定”，开始启动集群。界面提示“操作成功。”，单击“完
成”，集群成功启动。
6.使用SecureCRT工具登录到fihsots-1节点上，接下来进行环境变量设置与
用户认证。
传递信息技术，成就客户梦想
cd/opt/hadoopclient/切换到客户端安装目录。
sourcebigdata_env配置环境变量。
kinituser01进行用户认证，输入用户密码
客户端文件安装于fihosts-1服务器的/opt/hadoopclient目录中，认证用户
user01，密码Huawei!@34
5.3实验目的
熟悉MapReduce的Shell操作
掌握MR的开发流程
理解Mapper和Reduce过程
5.3.1任务一：MapReduce的shell实验
步骤1登录到fihosts-1服务器
使用SecureCRT登录到服务器，设置环境变量
执行命令：source/opt/hadoopclient/bigdata_env
图5-1
步骤2编辑数据文件
在linux本地编辑数据文件：cx_wd.txt，内容如下：
传递信息技术，成就客户梦想
图5-2
步骤3上传文件到HDFS系统
上传文件到HDFS的/user/stu01下：
图5-3
4
步骤执行jar包程序
执行命令：
yarnjar
/opt/hadoopclient/Yarn/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar
wordcount/user/stu01/cx_wd.txt/user/stu01/output01
传递信息技术，成就客户梦想
图5-4
注意：这个jar包是hadoop框架内置的样例jar包，默认的文件分隔符是tab键。
输出的output01文件夹必须是不存在，程序会自动创建。
5
步骤查看统计结果
结
文档评论（0）