浅谈海量资料的趋势`挑战与因应对策 Big Datathe Trends,.ppt

What we learn today ? WHEN WHY WHAT WHO HOW 先建私有雲的虛擬化架構，然後才建分析平台 Build Private IaaS first, then PaaS !! 透過統計分析人類的資料，讓機器更有智慧~ Make Machine Smart ! 海量資料泛指介於TB到PB之間的資料集!! few dozen TeraBytes to PetaBytes in single data set !! 資料科學家！接下來的講者都是佼佼者！ Data Scientist ! Next Speaker are all Key Players .... 儲存虛擬化、資料備援與加密、分析平台 Deduplication , Data Recovery / Encryption, Data Analysis Questions? Slides - .tw/cloud Jazz Wang Yao-Tsung Wang jazz@.tw 淺談海量資料的趨勢、挑戰與因應對策 Big Data : the Trends, Challenges and Solutions Jazz Wang Yao-Tsung Wang jazz@.tw WHO AM I ? 這傢伙是誰啊？JAZZ？ 講者介紹： 國網中心　王耀聰　副研究員/交大電控八九級碩士 jazz@.tw 所有投影片、參考資料與操作步驟均在網路上 .tw/cloud 由於雲端資訊變動太快，愛護地球，請減少不必要之列印。 FOSS使用者 Debian/Ubutnu Access Grid Motion/VLC Red5 Debian Router DRBL/Clonezilla Hadoop 推廣者 DRBL/Clonezilla Partclone/Tuxboot Hadoop Ecosystem 行動力薄弱的開發者 TRTC WSU/ Haduzilla / Hadop4Win / Ezilla Agenda 演講大綱 What is Big Data ? 何謂海量資料 Why should we care? 為何需要關切 When to deploy it ? 何時導入技術 How to handle it ? 三大因應策略 Who is key player ? 誰是成功關鍵 WHAT Source: http://www.2010taipeiexpo.tw/ct.asp?xItem=17186CtNode=5952mp=3 What is Big Data ? 何謂海量資料 挑戰：管理維度 The Six Dimensions 定義 Definitions 趨勢 Trends Trends …. Its all about Buzzwords ..... 「趨勢」亦或「流行語」？Web 3.0, Cloud Computing, Social Network, Big Data, …. 整體而言，雲端運算（Cloud Computing）與社交網路（Social Network）呈現上揚。且社交網路比雲端運算還引人注目。 語意網（Semantic Web）從2001年開始制定標準後，逐漸下滑。而同義詞Web 3.0也呈現相似趨勢。 海量資料（Big Data）與其關鍵技術Hadoop，則仍在上揚中。 Trends of Market Needs 市場需求趨勢 美國軟體就業市場分析，根據indeed與simply hired兩間公司的趨勢觀察，都得到一樣的結果： Big Data Cloud Computing Hadoop NoSQL Gartner CIO Agenda 2012 前三名： [1] Business Intelligence (Big Data) [2] Mobile technology [3] Cloud Computing 參考來源：/DisplayDocument?id=1524714 How BIG? 讓我們先來認識一下容量單位 Data Explosion!!始於2007的「資料大爆炸」時代 出處：The Expanding Digital Universe, A Forecast of Worldwide Information Growth Through 2010, March 2007, An IDC White Paper - sponsored by EMC /collateral/analyst-reports/expanding-digital-idc-white-paper.pdf 2007年，IDC預估2010年會成長六倍！（相較2006年） 2006 161 EB