HDFS的功能.ppt

自由軟體實驗室 Hadoop Distributed File System * Outline HDFS 的定義 ？ HDFS 的特色？ HDFS 的架構 ？ HDFS 運作方式 ？ HDFS 如何達到其宣稱的好處 ？ HDFS 功能？ * HDFS ? Hadoop Distributed File System Hadoop : 自由軟體專案，為實現Google的MapReduce架構 HDFS: Hadoop專案中的檔案系統 實現類似Google File System GFS是一個易於擴充的分散式檔案系統，目的為對大量資料進行分析 運作於廉價的普通硬體上，又可以提供容錯功能 給大量的用戶提供總體性能較高的服務 HDFS的定義？ * 設計目標 (1) 硬體錯誤容忍能力 硬體錯誤是正常而非異常 迅速地自動恢復 串流式的資料存取 批次處理多於用戶交互處理 高Throughput 低Latency 大規模資料集 支援Perabytes等級的磁碟空間 HDFS的特色？ * 設計目標 (2) 一致性模型 一次寫入，多次存取 簡化一致性處理問題 在地運算 移動到資料節點計算 移動資料過來計算 異質平台移植性 即使硬體不同也可移植、擴充 HDFS的特色？ * 管理資料 HDFS的架構？ * HDFS 運作 name:/users/joeYahoo/myFile - copies:2, blocks:{1,3} name:/users/bobYahoo/someData.gzip, copies:3, blocks:{2,4,5} Datanodes (the slaves) Namenode (the master) 1 1 2 2 2 4 5 3 3 4 4 5 5 Client Metadata I/O HDFS運作方式？ 檔案路徑– 副本數 , 由哪幾個block組成 * HDFS 運作 file1 (1,3) file2 (2,4,5) Namenode 1 1 2 2 2 4 5 3 3 4 4 5 5 Map tasks Reduce tasks JobTracker TT TT TT TT ask for task Block 1 TT 目的：提高系統的可靠性與讀取的效率 可靠性：節點失效時讀取副本已維持正常運作 讀取效率：分散讀取流量 （但增加寫入時效能瓶頸） HDFS運作方式？ TT TaskTracker * HDFS 副本備份機制 Original ~ First : 同機架的不同節點 Second : 同機架的另一節點 Third : 不同機架另一節點 More : 隨機挑選 Hadoop 0.17 ~ First : 同Client的節點上 Second : 不同機架中的節點上 Third : 同第二個副本的機架中的另一個節點上 More : 隨機挑選 RackA RackB HDFS運作方式？ * 可靠性機制 資料完整性 checked with CRC32 用副本取代出錯資料 Heartbeat Datanode 定期向Namenode送heartbeat Metadata FSImage、Editlog為核心印象檔及日誌檔 多份儲存，當NameNode壞掉可以手動復原 資料崩毀 網路或 資料節點 失效 名稱節點 錯誤 常見的三種錯誤狀況 如何達成其好處？ * 一致性與效能機制 檔案一致性機制 刪除檔案＼新增寫入檔案＼讀取檔案皆由Namenode負責 巨量空間及效能機制 以Block為單位： 64M為單位 在HDFS上得檔案有可能大過一顆磁碟 大區塊可提高存取效率 區塊均勻散佈各節點以分散讀取流量 如何達成其好處？ * HDFS的功能 類POXIS指令 權限控管 超級用戶模式 Web 瀏覽 用戶配額管理 分散式複製檔案 功能為何？ * POSIX Like 功能為何？ * * * * * * * * * * * * * 自由軟體實驗室 * * * * * * * * * * * * *