map reduce 介绍.ppt

自由軟體實驗室 * Map Reduce 介紹 王耀聰 陳威宇 Jazz@.tw waue@.tw 國家高速網路與計算中心(NCHC) * Divide and Conquer 範例四： 眼前有五階樓梯，每次可踏上一階或踏上兩階，那麼爬完五階共有幾種踏法？ Ex : (1,1,1,1,1) or (1,2,1,1) 範例一：十分逼近法 範例二：方格法求面積 範例三：鋪滿 L 形磁磚 * Map Reduce 起源 Functional Programming : Map Reduce map(...) : [ 1,2,3,4 ] – (*2) - [ 2,4,6,8 ] reduce(...): [ 1,2,3,4 ] - (sum) - 10 演算法（Algorithms）： Divide and Conquer 分而治之 在程式設計的軟體架構內，適合使用在大規模數據的運算中 * Hadoop MapReduce定義 Hadoop Map/Reduce是一個易於使用的軟體平台，以MapReduce為基礎的應用程序，能夠運作在由上千台PC所組成的大型叢集上，並以一種可靠容錯的方式平行處理上P級別的資料集。 * Hadoop-MapReduce 運作流程 split 0 split 1 split 2 split 3 split 4 part0 map map map reduce reduce part1 input HDFS sort/copy merge output HDFS JobTracker跟NameNode取得需要運算的blocks JobTracker選數個TaskTracker來作Map運算，產生些中間檔案 JobTracker將中間檔案整合排序後，複製到需要的TaskTracker去 JobTracker派遣TaskTracker作reduce reduce完後通知JobTracker與Namenode以產生output MapReduce 與 Key, Value * Reduce Input Output Row Data key values Map Reduce key1 val key2 val key1 val … … Map Input Output Select Key key1 val val …. val * MapReduce 圖解 * MapReduce in Parallel JobTracker先選了三個Tracker做map * 範例 I am a tiger, you are also a tiger a,2 also,1 am,1 are,1 I,1 tiger,2 you,1 I,1 am,1 a,1 tiger,1 you,1 are,1 also,1 a, 1 tiger,1 a,2 also,1 am,1 are,1 I, 1 tiger,2 you,1 reduce reduce map map map a, 1 a,1 also,1 am,1 are,1 I,1 tiger,1 tiger,1 you,1 Map結束後，hadoop進行中間資料的整理與排序 JobTracker再選兩個TaskTracker作reduce * Hadoop適用於.. Text tokenization Indexing and Search Data mining machine learning … /2008/08/26/known-applications-of-mapreduce/ /hadoop/PoweredBy 大規模資料集 可拆解 Hadoop Applications (1) Adobe use Hadoop and HBase in several areas from social services to structured data storage and processing for internal use. Adknowledge - Ad network used to build the recommender system for behavioral targeting, plus other clickstream analytics Alibaba processing sorts of business data dumped out of database and joining them together. These data will then be fed into iSearch, our verti