跑java简单的程式在hadoop丛集安装.pptVIP

可以參考pro-hadoop.PDF page329 ch10章 * * Hadoop MapReduce Hadoop MapReduce Hadoop MapReduce is a software framework for easily writing applications to process vast amounts of data in HDFS. 提供高度的可靠性運算 提供容錯機制 降低網路傳輸的頻寬需求 提供負載平衡 從雲端運算看 MapReduce 應用層面 大量數據資料的分析統計 大量資料的排序彙整 網頁存取紀錄的分析 … * Hadoop MapReduce 架構 Job MapReduce的基本工作單位 Task Map Task及Reduce Task JobTracker 負責透過Task的排程管理，並收集各個Job的進度狀況，以便協調所有在這個系統上Job的執行。 TaskTracker 負責各種Task的執行，並回報執行進度給JobTracker。 * 工作提交 (Job Submission) 確認Job的輸入及輸出: output 目錄是否指定及存在 處理Job輸入檔案的分割 複製Job的jar檔(java執行檔壓縮)及相關設定到HDFS中MapReduce系統的目錄 提交工作到JobTracker queue並監控其狀態 * Job 排程 (Job Scheduling) 預設使用FIFO scheduler依序執行Job Fair scheduler 多使用者排程策略 Give every user a fair share of the cluster capacity over time. As more jobs are submitted, free task slots are given to the jobs in such a way as to give each user a fair share of the cluster. 支援搶占 (preemption) 機制 If a pool has not received its fair share for a certain period of time, then the scheduler will kill tasks in pools running over capacity in order to give the slots to the pool running under capacity * 工作輸入 (Job Input) Input Split 將輸入的數據資料分割而成的資料片段 資料片段的大小固定 (可調整) 每一個Split產生一個Map Task 考慮資料區域性最佳化 (Data Locality Optimization) * Map 階段 (Map Phase) Job的輸入檔案被分割為Split後，在Map階段轉換成中間資料 Map後的中間資料經過partition及排序後暫存於TaskTracker的本地端硬碟 * Combine 階段 (Combine Phase) Map Task在產生中間資料之前可先進行Combine 省下部分數據資料傳輸的頻寬需求 加快寫入硬碟 節省硬碟空間 * Map Task 1 (12, 30) (12, 10) (12, 15) (12, 19) Map Task 2 (12, 22) (12, 18) (12, 9) Reduce Task (12, [30, 10, 15, 19, 22, 18, 9]) Combine 1 (12, 30) Combine 2 (12, 22) Reduce Task (12, [30, 22]) Reduce 階段 (Reduce Phase) Shuffle 將Map的輸出傳送到Reducer輸入的過程 同時從多個Map Task下載中間資料 根據叢集環境網路速度調整等待時間 使用Memory Buffer來暫存下載回來的中間資料 Reduce 處理中間資料並將最終結果存放於HDFS * MapReduce 運作流程 * Divide and Conquer Job Reduce Task Reduce Task Reduce Task Reduce Task Reduce Task Reduce Task Map Task Map Task Map Task Map Task Map Task Map Task Final Result Divide Conquer combine Reduce Tasks can more than Map Tasks Architec