巨量資料簡介.PDF

巨量資料簡介 Introduction to Big Data 國立聯合大學 資訊管理學系 陳士杰老師 Data Mining 資料探勘 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 2 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 大綱 什麼是巨量資料 (Big Data)? 支撐巨量資料的技術 如何面對巨量資料時代 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 3 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 什麼是巨量資料(Big Data)? 2010年，全球產生的資訊量 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 4 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 5 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 6 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 7 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 生物資訊議題早已面對Big Data 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 8 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 9 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 如同雲端這個2006年開始熱門的關鍵字一樣，Big Data並無 明確的定義，而歐美IT業界的論調是： 所謂巨量資料，就是用現有的一般技術難以管理的大量資料群 「用現有的一般技術難以管理 」指的是： 目前主流的關聯式資料庫系統(Relational DBS)無法管理的結構複雜資 料。 因為量的增加，導致查詢(Query)資料的回應時間超過容許範圍等的龐 大資料。 僅僅資料量的增加，並不是導致「用現有的一般技術難以 管理」的唯一主因! 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 10 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 巨量資料的3V特性 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) 11 國立聯合大學資訊管理學系 資料探勘課程(陳士杰) Volume (資料量) 巨量資料給人的直覺印象就是Volume ，即無法以現有技術進行管理的資 料量 。 隨著技術的進步，資料量 “大” 的定義也會有所改變。如：五年後(現2014 年)，可能要到EB的資料量才稱得上是巨量資料。 Variety (多樣化) 除了過去存在於企業內外的銷售與庫存資訊系統等之結構化資料外，網 路上的 日誌資料(