透过多层级之混合式快取架构来加速大量影像资料库查询.pdfVIP

透過多層級之混合式快取架構來加速大量影像 資料庫查詢 蔡明德 鄭毓融 林昀德 蕭一豪 國家高速網路 國家高速網路 國家高速網路 國家高速網路 與計算中心 助 與計算中心 助 與計算中心 研究 與計算中心 研究 理工程師 理工程師 員 員 a00mat00 1103902 lsi Ihow @.tw @.tw @.tw @.tw 摘要 氣象 預測 、基因解碼或是金融交易等等 ，但隨 系統發展與資料庫技術對提高資料查詢 著科技的 進步 ，有更多的產業也面臨巨量資料 的執行效率有重大的顯著效果 ，尤其目前所面 分析與處理的難題 。網路購物平台 eBay 每天 臨到的巨量資料處理 ，從龐大的資料中有效率 有數百萬次的商品查詢 ，資料庫每日增加 1.5 地取出有用的資訊成為重要的議題 由於近幾， 兆筆記錄，而資料庫的總容量則已達到 10PB 。 年資料產生的快速成長 ，並且變化性與複雜性 所以不僅每天新增的資料量眾多 ，連資料庫也 越來越龐大 ，傳統式的存取資料庫的資料的關 是很龐大 ，而要從中分析顧客的瀏覽、消費行 鍵技術與方法面臨著極大的衝擊 ，而轉移使用 為就是一件困難的事情 ；目前 大家熟悉的 NoSQL資料儲存方法也需付出龐大的系統與程 Facebook 社群網站 ，每天都有數億人使用 並 式的變動與轉換[4] ，相較於此 ，本研究在既 留下龐大的資料 ，其中有很大的比例是圖片 、 有系統與程式架構下使用作業系統與計算機 影片等傳統資料庫系統較不常處理的 ，這不僅 中的快取理論再進而提升傳統式資料庫的查 挑戰社群網站業者如何管理 ，對於想利用社群 詢效率 [1,2,3,5,6] ，並可廣泛應用於網際網 網站來掌握消費者動向的企業而言 也，面臨前 路之傳統資料庫查詢上 。 所未見的挑戰 。美國最大的超市 Wal-Mart過 關鍵詞 ：資料庫 、快取 、共享記憶體 、通用唯 去透過結帳資料分析 ，將啤酒與紙尿布擺在一 一識別碼 、鎖 。 起促長了啤酒的銷售量 就是一個很成功的案， 例 ，這些 Big Data的 「處理 」及 「應用 」都 1. 導論與介紹 成為企業經營非常重要的課題 。 近年來熱門的 IT 主題除了 「雲端」之外 ， 另一項就是 「巨量資料 」(Big Data) 。目前資 為了解決 Big Data 上資料庫大量資料存 料的趨勢為數位資料增長的速度越來越快 巨， 取的問題 ，很多公司近年來紛紛捨棄了關聯式 量資料所衍生的相關資料儲存 、查詢 、分析等 資料庫技術 改以， NoSQL資料庫來提升效能與 問題都是 需處理的重要課題 ，這些大量 與多種 擴充彈性 ，NoSQL資料庫是一個統稱的名詞 ， 類型的資料如何經過資料挖掘(Data Mining) 泛指非關聯式資料庫的資料庫技術 包括了數， 及適當處理後轉化成為有用的資訊 更是，