第9章 資料處理模型.pptVIP

第9章　資料處理模型 1 大綱 9.1 　簡介 9.2 　MapReduce 9.3 　Hadoop MapReduce 2 有多少資料？ Google一天處理20 PB (2008年) Wayback機器處理 3 PB且每月增加100 TB (2009年3月) Facebook有2.5 PB的用戶資料且每天增加15 TB (2009年4月) eBay有6.5 PB的用戶資料且每天增加50 TB (2009年5月) CERN的LHC 每年產生15 PB資料 想想看未來…… 3 各個擊破 4 假使採用平行化？ 困難，因為… 我們不曉得工作被分配到的工作順序 我們不曉得工作單位之間是否會互相中斷或干擾 我們不曉得「共享資料」該如何被不同工作單位存取的順序 因此，我們需要： 號誌 上鎖、解鎖 條件變數 等待、通知、廣播 障礙 仍有許多問題： 死結、活結、競賽情況… 哲學家進餐問題（Dining philosophers）、睡著的理髮師問題（Sleeping barbers）、抽菸者問題（Cigarette smokers）… 5 現有方式 資料處理模型 共享記憶體，如pthreads 訊息傳遞介面，如MPI 設計模式 主－從 生產者－消費者 共享工作佇列 6 問題真的解決了嗎？ 「一致性」是難以控制的因素 「一致性」甚至變得更加地難以控制 在資料中心的規模上（尤其是跨越多個資料中心