非關聯型資料庫（NoSQL）在大數據(Big data) 的應用 僑.PDFVIP

非關聯型資料庫（NoSQL ）在大數據(Big data)的應用 僑泰中學 龍清榮 前言 網際網路的應用愈來愈廣泛 ，除了傳統使用電腦外，現在因行動裝置的應用普及與便 利，全世界已有 10億 以上人連結網際網路，每日使用移動裝置，存取、建立資料。也因世 界 經濟的開發成長快速，促進了密集資料科技的使用 ，更進而帶動資訊量的成長。全世界透 過電信網路交換資訊的容量在今年流量將會達到ZB (10的 21 次方) ，已是我們常使用TB (10的 12 次方的一億倍大。由於數據的增多，產生了一個新的應用領域，) 大數據（Big data 或 Megadata ），或稱巨量資料、海量資料、大資料。 由於資料量規模愈來愈巨大 且產生非常快速，例如高速公路 ETC 系統，每日各偵測點 所通過的車輛，高達百萬輛，都已 到無法透過一般傳統的資料庫可以處理，例如最近伊波拉 病毒發生，每個國家都非常注意防範及預防，如何在考慮人口移動、飛機的航班擴展的範 圍、天氣溫度對於病毒的影響，利用大數據計算出，短期內如果發生疫情，預測出其擴散的 程度，避免疾病擴散也都是大數據的應用 一環。 簡介 大數據與應用 人類每日產生的內容，包羅萬象，最簡單的如我們每天建立的檔案、電子郵件、手機通 訊、網路查詢、社群活動等。各種資料有可能是檔案影片( 或是很簡單的一個通知訊息) (line) ，如果是檔案，其檔案格式又很 多樣化 ，如圖檔、PPT 、音樂等，如果是訊息，有的是 資料內容 ，如姓名、住址、交易明細等，日復一日所產生的資料 ，而且還附帶大量的相關中 繼資料 ，這些中繼資料更是驚人。 所謂中繼資料是指檔案的相關資訊 ，如資料是由誰建立檔案、檔案的類型是什麼、檔案 內容關鍵值(key)有那些 、誰讀取這個檔案等。這些原始內容和中繼資料，共同構成了人類的 巨型資料。 大數據是由巨型資料集組成，這些巨型資料集是所有 大小資料集的成長 而來，已經超出 我們能夠分析及處理的範圍，若不借助複雜的自動化技術，勢必無法達到目標。 我們必須 仰賴技術來分析和處理這一波龐大的內容與中繼資料潮。 分析人類產生的巨型資料具有極大的潛力 ，不僅如此，運用中繼資料的力量，也成為商 業應用極重用的一環。例如 Google運用人們上網使用的習慣，分析個人喜好，讓你在旅遊 中，以你所在位置，利用 GPS 定位，隨時提供你最佳旅遊資訊，讓你所在區域的店家增加 商機， 收取店家廣告費用 ，其廣告收入驚人，由其股價可以得知。 大數據資料的應用已廣泛在我們周遭應用 ，Facebook 、Google 、Line 、Youtube 等世界 型企業都提供很多服務，讓人們每天透過不同設備來存取他，當然許多企業的難題也 才正要 開始，因為他們 如果要提供更好的服務，傳統的資料運用已無法滿足客戶的需求。加上雲端 的運用，資料取得更方便，資料的取得又產生另一些中繼資料 ，資料以倍數自行成長，問題 1 就更加複雜了。 企業為這些服務又另外建立了一個也會逐漸擴大的資料庫，來存放更多 產生 的內容，而這些資料也同樣需要加以管理及保護 ，如何架構一個全新的資料庫，應付大數據 資料的應用，已是資訊產業的顯學 。 資料庫的應用 與類別 人類儲存文件，為便利取用與分類，一定會使用資料櫃來分類與儲存，資料庫可視為人 類電子化的資料櫃，也就是儲存電子檔案的地方，使用者可以對檔案中的資料執行新增、擷 取、更新、刪除等操作。由於任何數據的產生，必須能夠提供足夠的容量 來儲存，並能達到 快速應用擷取、管理、處理、並整理成為人類所想解讀的資訊。在傳統應用上，資料庫目前 都是關聯式資料庫，例如 ：MySQL 、Microsoft Access 、Microsoft SQL Server 、Oracle 、 Sybase 、dBASE 、Clipper 、FoxPro ，但是受限於其結構，這些都無法應用於大數據領域。 大數據幾乎無法使用目前傳統的資料庫管理系統處理，其特色是必須使用「在數十、數 百甚至數千台伺服器上同時平行運行的軟體」。目前應用最廣泛的資料庫架構是非關聯型資 料庫（NoSQL ），例如：BigTable 、Apac