Data Warhouse(资料仓储).pptVIP

Data Warehouse（資料倉儲） 包含 OLAP 概論 資料倉儲(data warehouse)—定義 定義一： 將操作型(作業型operational)資料庫、外部資料（政府相關資料、市場統計資料、外來趨勢資訊甚至競爭對手資料等）經由篩選、萃取、彙總、整合等前置處理，轉換到一個新的資料庫存放 由於該資料易於決策分析, 就好像倉儲中放置各類成品一樣, 可以讓我們隨時取用或加以包裝出售, 所以稱為資料倉儲 P.S. 而一般的資料庫就像是存放各類原料的倉儲，想要得到成品必須自行以SQL來達成 資料倉儲(data warehouse)—定義 定義二： A subject-oriented, integrated, time-variant , nonupdatable collection of data used in support of management decision-making processes. 資料倉儲之父：Bill Inmon 資料倉儲特性： 主題導向（ subject-oriented ） 整合的（ integrated ） 隨時間變化的（ time-variant ） 不易變動 （ nonupdatable ） 資料倉儲—基本條件 存取介面： 需提供立即、隨時可取用且高效率的存取介面 高品質資料倉儲： 內部資料須具備一致性，且不可以有不確定或錯誤的資料夾雜其中 維度查詢： 可根據不同維度，對不同的觀察值作組合或拆散的動作 分析及展示： 不只提供查詢資料，且須有分析及展示的功能 資料倉儲 – 12條規則（W.H. Inmon 與 C. Kelley 1994）（1） 應與運作環境分開建置 完全整合 長時間累積的歷史資料 某時間點所擷取到的狀態資料 主題為導向（subject-oriented） 主要用於讀取，並定時由操作型資料庫做批次更新（batch update） 不允許線上更新 唯讀的資料 開發生命週期為資料驅動（data driven）的發展方式 傳統為程序驅動 資料倉儲 – 12條規則（W.H. Inmon 與 C. Kelley 1994）（2） 包含了數個層次的細部資料： 目前的細部資料 以往的細部資料 科子目的加總資料 全體的加總資料 對非常大量的資料集（data mart）作唯讀式異動 具有追蹤資料來源、轉換與儲存的子系統 具有metadata，其作用為標明及定義所有的資料元素 應包含資源使用收費機制，強迫使用者能以最佳運用方式來使用其中的資料 資料倉儲 – 資料類型 運算資料（Operational Data）： 由OLTP system（On-Line Transaction Processing Systems）的資料庫而來 整合後的詳細資料（Integrated Detail Data）： 由運算資料經整合、轉換後的資料 預先加總資料（summarized data） metadata（中介資料、中繼資料）： 描述資料的資料（Data about data），不是原始資料而是從資料本身所衍生出來的 又稱系統目錄或資料字典 備份資料（Backup Data） data mart（資料集、資料超市） 定義： 資料超市是資料倉儲的子集（subset） 資料集的產生： 基於時間金錢等因素考量，有時候只建立單一部門的決策性參考資料，其規模較資料倉儲小，稱之為資料集 依部門需求先建立部門資料集，經過一段時間運作，再以bottom-up方式整合成一個資料倉儲系統 P.S. Top-Down：方式產生資料倉儲系統 資料倉儲管理師（data warehouse manager） 又稱資料品質管理師（Data Quality Manager，DQM，簡稱資料品管師） 負責工作： 確保資料一致性 轉換及合併來源資料到資料倉儲表格 建立view及索引（維度） 產生預先加總資料 備份資料 資料倉儲(data warehouse) framework 資料倉儲的架構 以往OLTP系統是以便於進行交易處理為目標 關聯式資料庫模型：實體－關聯模型（E-R Model） 資料倉儲模型：維度模型（dimensional Model） 資料倉儲的概念很早就被提出，但是具體化是在維度式資料倉儲提出之後 資料倉儲的維度模式設計： 將資料庫看成是多維資料的立方體（cube） 可以沿著cube的各個維度（dimension）來做切面（slicing） 資料倉儲的維度模式設計 例如：將銷售資料看成是一個cube，三個維度是時間（ time）、產品（product）及客戶（customer） 維度模式架構 包含二個觀念： 事實表（fact table）： 事實表在cube中只會有一個 存放資