Hadoop 简介.ppt

Hadoop 簡介 Hadoop 簡介 王耀聰 陳威宇 Jazz@.tw waue@.tw 2008. 04 . 27-28 國家高速網路與計算中心(NCHC) Outline 什麼是 Hadoop ？ 有什麼特色？ 怎麼來的呢？ 有誰在用？ 有實用案例嗎？ Hadoop ? Hadoop 以Java開發 自由軟體 上千個節點 Petabyte等級的資料量 創始者 Doug Cutting 為Apache 軟體基金會的 top level project 特色 巨量 擁有儲存與處理大量資料的能力 經濟 可以用在由一般PC所架設的叢集環境內 效率 籍由平行分散檔案的處理以致得到快速的回應 可靠 當某節點發生錯誤，系統能即時自動的取得備份資料以及佈署運算資源 起源:2002-2004 Lucene 用Java設計的高效能文件索引引擎API 索引文件中的每一字，讓搜尋的效率比傳統逐字比較還要高的多 Nutch nutch是基於開放原始碼所開發的web search 利用Lucene函式庫開發 起源：Google論文 Google File System 可擴充的分散式檔案系統 設計目的在於可以給大量的用戶提供總體性能較高的服務 適用於分散式、對大量資訊進行存取的應用 可運作在一般的普通主機上，且提供錯誤容忍的能力 “The Google File System“ 發表於SOSP 03 October，並將設計的概念公開 起源：Google論文 Google’s GFS MapReduce papers published: SOSP 2003 : “The Google File System” OSDI 2004 : “MapReduce : Simplifed Data Processing on Large Cluster” OSDI 2006 : “Bigtable: A Distributed Storage System for Structured Data” directly address Nutchs scaling issues 起源:2004~ Dong Cutting 開始參考論文來實做 Added DFS MapReduce implement to Nutch Nutch 0.8版之後，Hadoop為獨立項目 Yahoo 於2006年僱用Dong Cutting 組隊專職開發 Team member = 14 （engineers, clusters, users, etc. ) 誰在用Hadoop Yahoo 為最大的贊助商 IBM 與 Google 在大學開授雲端課程的主要內容 Hadoop on Amazon Ec2/S3 More…: Hadoop於yahoo的運作資訊 Hadoop於yahoo的部屬情形 Hadoop於yahoo的部屬情形 Hadoop 與google的對應 開始動手吧 * 自由軟體實驗室 * Hadoop is a software platform that lets one easily write and run applications that process vast amounts of data 什麼是 Hadoop 什麼是 Hadoop 有什麼特色 有什麼特色 怎麼來的 /pubs/papers.html 怎麼來的 怎麼來的 有誰在用 Sort benchmark, every nodes with terabytes data. 實用案例 資料標題：Yahoo! Launches Worlds Largest Hadoop Production Application 資料日期：February 19, 2008 實用案例 4000 Total Nodes 30000 Total cores 16PB Data 資料標題：Scaling Hadoop to 4000 nodes at Yahoo! 資料日期：September 30, 2008 66 40 18 5.8 avg. throughput (MB/s) 4 4 2 2 tasks per node 5,040,000 5,040,000 316,800 316,800 total MB processes 360 360 320 320 file size (MB) 14,000 14,000 990 990 number of files read write read write ? 4000-node cluster 500-node cluster ? 實用案例 Linux / GPL Linux OS nu