MapReduce海量数据并行处理ch.05.ppt

集群分布方式下远程提交作业 1. 本地完成程序编写和调试 在自己本地安装了单机或伪分布Hadoop系统的机器上，完成程序编写和调试 2.创建用户账户 为了能访问Hadoop集群提交作业，需要为每个程序用户创建一个账户，获取用户名、密码等信息。 集群分布方式下远程提交作业 3.将数据和程序传送到Hadoop集群 准备好数据和程序目录 例如： me@local:~/workspace$ ls -R wordcount wordcount: wordcount.jar wordcount/files: file01.txt file02.txt 用scp命令传送至Hadoop平台主机上： me@local:~/workspace$ scp -r wordcount username@Master :workspace/wordcount username@ Master‘s password: [在此输入您的密码] 集群分布方式下远程提交作业 4.用SSH命令远程登录到Hadoop集群 me@local:~/workspace$ ssh