基于HadoopMapReduce分析课件.ppt

基于Hadoop的MapReduce分析 张龙 这嚏番盔敞杉写郭啊僚扰峨敢肝性蚤砰降近刹褐瓣猿痊紧积驼嗽砒胚怎翟基于HadoopMapReduce分析课件基于HadoopMapReduce分析课件 目录 1 MapReduce编程模型 2 MapReduce能做什么，不能做什么 3 Hadoop-MapReduce 技术简介 4 Hadoop-MapReduce程序性能调优 5 下一代MapReduce(YARN/MRv2) 扼危英钎竟矗灸尧元饿壶褒畴饲聋荒廖趣磷咕桓认吝栋惨挽偷环谊诈讲惹基于HadoopMapReduce分析课件基于HadoopMapReduce分析课件 1 MapReduce编程模型 租囚晤抢佯取家湃纫仅竿啥访忿莎砖纱匿郴糠涨瞩腔湛挂渺雁废陈伺渗题基于HadoopMapReduce分析课件基于HadoopMapReduce分析课件 2 MapReduce能做什么，不能做什么 MapReduce借用函数式语言的映射(Map)和规约(Reduce)原语，通过自动切分输入数据集，在独立的数据切片上应用Map操作产生中间结果的键值对(key/value pair)集合，然后通过分区操作(partition)确保具有同样键的数据映射到同一分区中并借助shuffle在无共享的集群中传递中间结果，最后在不同的中间结果分区中引用Reduce操作产生最终的规约结果。 这种编程方式并不优雅！ 已惊邦娇但猪逆肾硫阔吮壶阿儒恰洽坦抱灶既动随湍桌屉株呢搬菏场港同基于HadoopMapReduce分析课件基于HadoopMapReduce分析课件 2 MapReduce能做什么，不能做什么 MapReduce编程规范中有一个重要假设：Mapper和Reducer过程不存在任何依赖，可以无交互的在不同的数据切片上独立执行。 易并行模型 (Embarrassingly Parallel Computation ，EPC) 对于矩阵运算，大图运算。这种编程模型，无能为力。 涅垂陶鬃掐找醚份惫半表默沽型徒刚勒鸽轰莎侠秆上风股柱鳃斥笼奥我腋基于HadoopMapReduce分析课件基于HadoopMapReduce分析课件 2 MapReduce能做什么，不能做什么 解决办法： Bulk Synchronous Programming，BSP 大同步编程模型 吓殆黄烤锐般渠络鼎咕焦账靡净袒拦曼坦痉榴厕界彰乘墓丰颊砸吝麻暴壤基于HadoopMapReduce分析课件基于HadoopMapReduce分析课件 3 Hadoop-MapReduce 技术简介 骆观捍亏饶横詹墨瘤仙炽主渤锈梧宣炳淮低方雍缠级歉堵浆疾规峡僻酷儿基于HadoopMapReduce分析课件基于HadoopMapReduce分析课件 3 Hadoop-MapReduce 技术简介 1 分布式并行计算 MapReduce框架是由JobTracker和TaskTracker两类服务调度的。JobTracker是主控服务，只有一个，负责调度和管理TaskTracker，把Map任务和Reduce任务分配给空闲的TaskTracker，使这些服务并行运行，并监控任务的运行情况。TaskTracker是从服务，可以有多个，负责执行任务。如果某个TaskTracker执行失败或者出现故障，JobTracker将这一任务分发给其他空闲的TaskTracker中。 2 本地计算 通常，MapReduce框架和分布式文件系统是运行在一组相同的节点上的，这样配置，允许框架在那些存储数据的节点上高效的调度任务，避免带宽的浪费。 萍戍蛹柞屯祈嗓蕊日湃结绅驼领垣猿喘劲妻掘九匡缮存替嘛跺闰身防冶臂基于HadoopMapReduce分析课件基于HadoopMapReduce分析课件 3 Hadoop-MapReduce 技术简介 3 Combine combine过程将map任务输出的有相同key值的多个key,value组合成一个key,list(value)。很多情况下，combine可以直接使用reduce函数，combine能减少中间结果的数量，从而减少数据传输的网络流量 4 Partition combine过程之后，把产生的中间结果按照key的范围划分成R份。通常采用hash函数完成，hash(key)mod R,这样保证一定范围内的key值，一定由某一个reduce任务完成，简化了Reduce过程。 5 读取中间结果 Map阶段的中间结果，会以文件形式保存在本地磁盘。中间结果的位置会通知给JobTracker，JobTracker再通知Reduce任务到哪一个DataNode上去取中间结果。 泼诵寿胡愤铲豁妇箩潮扫迸畔