[计算机]Map-Reduce的过程解析.pdf

Map-Reduce的过程解析 2011 3 1 年 月 日 10:44 一、客户端 Map-Reduce的过程首先是由客户端提交一个任务开始的。 提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的： public static RunningJob runJob(JobConf job) throws IOException { //首先生成一个JobClient对象 JobClient jc = new JobClient(job); …… //调用submitJob来提交一个任务 running = jc.submitJob(job); JobID jobId = running.getID(); …… while (true) { //while循环中不断得到此任务的状态，并打印到客户端console中 } return running; } 其中JobClient的submitJob函数实现如下： public RunningJob submitJob(JobConf job) throws FileNotFoundException, InvalidJobConfException, IOException { //从JobTracker得到当前任务的id JobID jobId = jobSubmitClient.getNewJobId(); //准备将任务运行所需要的要素写入HDFS： 任务运行程序所在的 封装成 // jar job.jar //任务所要处理的input split信息写入job.split //任务运行的配置项汇总写入job.xml Path submitJobDir = new Path(getSystemDir(), jobId.toString()); Path submitJarFile = new Path(submitJobDir, job.jar); Path submitSplitFile = new Path(submitJobDir, job.split); 此处将 命令行指定的 上传至 // -libjars jar HDFS configureCommandLineOptions(job, submitJobDir, submitJarFile); Path submitJobFile = new Path(submitJobDir, job.xml); …… //通过input format的格式获得相应的input split，默认类型为FileSplit InputSplit[] splits = job.getInputFormat().getSplits(job, job.getNumMapTasks()); // 生成一个写入流，将input split得信息写入job.split文件 FSDataOutputStream out = FileSystem.create(fs, submitSplitFile, new FsPermission(JOB_FILE_PERMISSION)); try { //写入job.split文件的信息包括：split文件头，split文件版本号，split的个数，接着依次写入每 一个input split的信息。 对于每一个 写入： 类型名 默认 ， 的大小， 的内容 对于 // input split split ( FileSplit) split split ( ，写入文件名，此 在文件中的起始位置 ， 的 信息 即在那个 FileSplit split ) split location ( DataNode 上 。 ) writeSplitsFile(splits, out); 1