map reduce 介绍 - classcloud.ppt

Map Reduce 介紹 王耀聰 陳威宇 Jazz@.tw waue@.tw 2008. 04 . 27-28 國家高速網路與計算中心(NCHC) Outline Why should we learn this ? What is MapReduce ? Where does it fix ? What is its benefit ? How does it work ? Must be in Java ? 目的 Google 原生定義 MapReduce is a framework for computing certain kinds of distributable problems using a large number of computers (nodes), collectively referred to as a cluster. Hadoop MapReduce定義 Hadoop Map/Reduce是一個易於使用的軟體平台，以MapReduce為基礎的應用程序，能夠運作在由上千台PC所組成的大型叢集上，並以一種可靠容錯的方式平行處理上P級別的資料集。 MapReduce由來 Functional Programming : Map Reduce map(...) : [ 1,2,3,4 ] – (*2) - [ 2,4,6,8 ] reduce(...): [ 1,2,3,4 ] - (sum) - 10 對應演算法中的Divide and conquer 將問題分解成很多個小問題之後，再做總和 首先被Google引用到程式設計的軟體架構內，使用在大規模數據的運算中 應用範圍 Text tokenization Indexing and Search Data mining machine learning … MapReduce 運作流程 範例 Streaming Pipes 雖然Hadoop框架是用Java實作，但Map/Reduce應用程序則不一定要用 Java來寫 Hadoop Streaming ： 執行作業的工具，使用者可以用其他語言 （如：PHP）套用到Hadoop的mapper和reducer Hadoop Pipes：C++ API * 自由軟體實驗室 * Why should we learn this ? 知己知彼百戰百勝 太歲頭上動土 What is MapReduce ? What is MapReduce ? What is MapReduce ? Where does it fix ? /2008/08/26/known-applications-of-mapreduce/ split 0 split 1 split 2 split 3 split 4 part0 map map map reduce reduce part1 input HDFS copy sort/merge output HDFS How does it work ? I am a tiger, you are also a tiger a,2 also,1 am,1 are,1 I,1 tiger,2 you,1 I,1 am,1 a,1 tiger,1 you,1 are,1 also,1 a, 1 tiger,1 am,1 a,2 also,1 are,1 I, 1 tiger,2 you,1 reduce n1 n2 n3 map How does it work ? Must be in Java ? 一個使用在大量節點叢集上計算各式各樣問題的軟體架構 一個使用在大量節點叢集上計算各式各樣問題的軟體架構 * *