MapReduce介紹.pptVIP

自由軟體實驗室 * Map Reduce 介紹 王耀聰 陳威宇 楊順發 jazz@.tw waue@.tw shunfa@.tw 國家高速網路與計算中心(NCHC) * Map Reduce 起源 演算法（Algorithms）： Divide and Conquer 分而治之 在程式設計的軟體架構內，適合使用在大規模數據的運算中 * Divide and Conquer 範例四： 眼前有五階樓梯，每次可踏上一階或踏上兩階，那麼爬完五階共有幾種踏法？ Ex : (1,1,1,1,1) or (1,2,1,1) 範例一：十分逼近法 範例二：方格法求面積 範例三：鋪滿 L 形磁磚 Map Reduce Functional Programming : Map Reduce map(...) : [ 1,2,3,4 ] – (*2) - [ 2,4,6,8 ] reduce(...): [ 1,2,3,4 ] - (sum) - 10 * Map One-to-one Mapper * Explode Mapper Filter Mapper let map(k, v)= emit(k.toUpper(), v.toUpper()) let map(k, v)= foreach char c in v: emit(kc) let map(k, v)= if(isPrime(v)) then emit(k, v) (“Foo”, “other”) → (“FOO”, “OTHER”) (“Key2”, “data”) → (“KEY2”, “DATA”) (“A”, “cates”) → (“A”, “c”) (“A”, “a”) , (“A”, “t”) , (“A”, “s”) (“foo”, “7”) → (“foo”, “7”) (“testing”, “10”) → (null) Reduce Example: sum reducer * let reduce(k, vals)= sum = 0 foreach int v in vals: sum +=v emit(k,sum) (“A”, [42, 100, 312]) → (“A”, 454) (“B”, [12, 6, -2]) → (“B”, 16) * Hadoop MapReduce定義 Hadoop Map/Reduce是一個易於使用的軟體平台，以MapReduce為基礎的應用程序，能夠運作在由上千台PC所組成的大型叢集上，並以一種可靠容錯的方式平行處理上P級別的資料集。 * Hadoop-MapReduce 運作流程 split 0 split 1 split 2 part0 map map map reduce reduce part1 input HDFS sort/copy merge output HDFS JobTracker跟NameNode取得需要運算的blocks JobTracker選數個TaskTracker來作Map運算，產生些中間檔案 JobTracker將中間檔案整合排序後，複製到需要的TaskTracker去 JobTracker派遣TaskTracker作reduce reduce完後通知JobTracker與Namenode以產生output MapReduce 與 Key, Value * Reduce Input Output Row Data key values Map Reduce key1 val key2 val key1 val … … Map Input Output Select Key key1 val val …. val * MapReduce 圖解 * MapReduce in Parallel JobTracker先選了三個Tracker做map * 範例 I am a tiger, you are also a tiger a,2 also,1 am,1 are,1 I,1 tiger,2 you,1 I,1 am,1 a,1 tiger,1 you,1 are,1 also,1 a, 1 tiger,1 a,2 also,1 am,1 are,1 I, 1 tiger,2 you,1 reduce reduce map map map a, 1 a,1 also,1 am,1 are,1 I,1 tiger,1 tiger,1 you,1 Map結束後，hadoop進行中間資料的整理與排序 JobTracker再選兩個TaskTracker作reduce * Hadoop適用於..