Hadoop MapReduce 深入MapReduce Job 提交.pdfVIP

想想要要出出类类拔拔萃萃，，就就要要努努力力至至少少一一万万小小时时 HHaaddoooopp MMaappRReedduuccee 深深入入MMaappRReedduuccee JJoobb 交交 分类： Hadoop-MapReduce 2013-12-20 08:22 211人阅读 评论 (0) 收藏 举报 hadoopmapreduce 一个job的运行，涉及4个实体：客户端，JobTracker，TaskTracker，HDFS 【客户端】使用Job.submit() 交任务，任务 交后。 1 向 jjoobbttrraacckkeerr 请求一个新的作业ID (JobTracker.getNewJobId()) 2 检查输出目录，例如输出目录已经存在，就不 交 3 计算作业的输入数据分片。如果分片无法计算 （输入路径不存在），就不 交 4 将运作所需要的资源 (Jar文件，配置文件，输入分片)复制到 jobtracker 的一个以Job id命名的目录下 【HDFS】。jar文件有多个副本 (由 mmaapprreedd..ssuubbmmiitt..rreepplliiccaattiioonn 定