云端分散式Hadoop试验-软体学习资源服务平台.ppt

Cloud Operating System - Unit 05: 雲端分散式Hadoop實驗 -I Cloud Operating System Unit 05 雲端分散式Hadoop實驗 -I M. S. Jian Department of Computer Science and Information Engineering National Formosa University Yunlin, Taiwan, ROC 軟體平台 就是將一個工作分成多個並傳送到多個節點(Node)處理 將各個Node的結果再重新結合統整成最後的結果 Hadoop and MapReduce * Cloud Operating System - Unit 05: 雲端分散式Hadoop實驗 -I U05-* Java開發 自由軟體 為Apache軟體基金會的top level project Hadoop * Cloud Operating System - Unit 05: 雲端分散式Hadoop實驗 -I U05- * Algorithm Method Hadoop Map/Reduce是一個易於使用的軟體平台，以MapReduce為基礎的應用程序 能夠運作在由上千台PC所組成的大型叢集上，並以一種可靠容錯的方式平行處理上Peta-Bytes數量級的資料集 MapReduce * Cloud Operating System - Unit 05: 雲端分散式Hadoop實驗 -I U05- * 巨量 –擁有儲存與處理大量資料的能力 ?經濟 –可以用在由一般PC所架設的叢集環境內 ?效率 –籍由平行分散檔案的處理以致得到快速的回應 ?可靠 –當某節點發生錯誤，系統能即時自動的取得備份資料以及佈署運算資源 特徵 * Cloud Operating System - Unit 05: 雲端分散式Hadoop實驗 -I U05- * 大規模資料集 可拆解 Text tokenization Indexing and Search Data mining machine learning 特徵 * Cloud Operating System - Unit 05: 雲端分散式Hadoop實驗 -I U05- * Functional Programming : Map Reduce –map(...) : [ 1,2,3,4 ] – (*2) - [ 2,4,6,8 ] –reduce(...): [ 1,2,3,4 ] - (sum) - 10 對應演算法中的Divide and conquer 將問題分解成很多個小問題之後，再做總和 MapReduce理論觀念 * Cloud Operating System - Unit 05: 雲端分散式Hadoop實驗 -I U05- * Google v.s. Apache Develop Group Google Apache Sponsor Google Apache Resource Open Document Open Source File System GFS HDFS Storage System Big-Table Hbase Algorithm Method MapReduce MapReduce O.S Linux Linux/ GPL * Cloud Operating System - Unit 05: 雲端分散式Hadoop實驗 -I U05- * HDFS(HadoopDistributed File System) GFS, DFS (Distributed File System) * Cloud Operating System - Unit 05: 雲端分散式Hadoop實驗 -I U05- * Hadoop環境名詞解釋 Job –任務 ? Task –工作 ? JobTracker –任務分派者 ? TaskTracker –工作的執行者 ? Client –發起任務的客戶端 ? Map –對應 ? Reduce –彙整 Namenode –名稱節點 ?Datanode –資料節點 ?Namespace –名稱空間 ?Replication –副本 ?Blocks –檔案區塊 (64M) ?Metadata –屬性資料 * Cloud Operating System - Unit 05: 雲端分散式Hadoop實驗 -I U05- * 資料夾名稱 說明 bin 各執行檔，例如: start-all.sh conf 預設的設定檔目錄(可更改)，例如: hadoop-env.sh docs Hadoop API