基于Hadoop原理与实务应用.pptVIP

Hadoop原理與實務應用 報告人：魏宏吉 大綱 何謂Hadoop Hadoop架構 HDFS架構 Hadoop MapReduce運作原理 Demo 1.何謂Hadoop Hadoop是由Google雲端架構得到啟發而開始的開放原始碼計劃，目前有許多組織參與Hadoop的研究開發，並以Hadoop做為雲端運算的平台。 Hadoop是以java寫成，可以提供大量資料的分散式運算環境，而且Hadoop的架構是由Google發表的BigTable及Google File System等文章提出的概念實做而成，所以跟Google內部使用的雲端運算架構相似。 Google Hadoop MapReduce Hadoop MapReduce GFS HDFS BigTable HBase Hadoop可分為運算及儲存兩大部份，前者由Map Reduce負責，後者則由HDFS負責。 2.Hadoop架構 Hadoop Core HDFS HBase MapReduce Hadoop系統架構圖 3. HDFS架構 Hadoop Distributed File System (HDFS) 將分散的儲存資源整合成一個具容錯能力、高效率且超大容量的儲存環境，在Hadoop系統中大量的資料和運算時產生的暫存檔案，都是存放在這個分散式的檔案系統上。 HDFS儲存的資料分散在不同的機器上，所以應用程