资料超市.ppt

本章學習重點 資料倉儲系統架構 操作性資料商店 資料超市 Bill Inmon 與 Ralph Kimball 兩派學說的比較 資料來源層 資料倉儲系統的資料來源包括在組織內外的任何一種有分析價值的資料。舉例如下： 與營業有關的作業系統。 組織內部的體制結構。 網頁瀏覽記錄。 組織內部做的市場調查。 第三者所提供的人口統計資料、市場調查、或是其他任何有用的資料。 資料來源層 資料在來源處有可能以許多種不同的方式存在。比較常見的有： 作業系統的特定存放法。 關連式資料庫 。 試算表（如 Excel 檔）。 文字檔。 第三者所提供的線上報表。 白紙黑字（沒有電子化的資料）。 資料提取 資料提取:目的是將資料由資料來源轉入臨時資料儲存區內。 資料提取層所運用的技術很多。最常見的如下： COBOL 程式。 Perl 程式。 資料庫的大量輸入（Bulk Insert）功能。 SQL 或是其他的資料庫語言（如 PL/SQL 或 T-SQL）。 資料移動與轉換工具。 臨時資料儲存區 臨時資料儲存區的目的是讓所有的資料都被存放在同一個平台上，如此一來之後的整合工作將會比較容易進行。 在此資料存在的型式與它在來源處的型式是非常接近的。 資料轉換及清潔層 可以算是整個資料倉儲最重要的一層。這一層有以下的功能： 整合資料。 清潔資料。 將資料轉換為適合用來做分析的模式。 資料存放層 目的為存放處理過後的資料。 資料在這一層可能會存在於三種不同的個體上。它們分別是操作性資料商店(Operational Data Store)、資料倉儲(Data Warehouse)、以及資料超市(Data Mart)。 操作性資料商店、資料倉儲、以及資料超市的比較 資料邏輯層 資料邏輯層是用來詳述組織的業務規則(bussiness rule)。 Stored procedure Eg. #unregistered-customer computation: formula changes … 1 person?PC+NB, public-PC, several browsing window 在有些情況下，業務規則經常會變動，可是這些變動對資料本身並沒有直接的影響。 這類的業務規則就適合放置於資料邏輯層。 資料展現層 資料是以使用者可以輕易瞭解的型式展現 chart., fig., Email, alert, voice 會用到的通訊方式都可以當作資料展現的媒介。 用戶端電腦、瀏覽器、電話、傳真、無線應用以及呼叫器。 在這一層最常見到的問題就是資料邏輯層和資料展現層沒有分開。 Dynamic web page using HTML + CGI 中繼資料 (Metadata) 中繼資料的定義是有關資料的資料（data about data）。 完整的中繼資料可以使一個資料倉儲系統容易管理、維護、以及成長。 One definition changes vs. several SQL-generated reports rewrite 中繼資料是橫跨整個資料倉儲系統架構的。 中繼資料的儲存與管理可以說是資料倉儲系統最重要的一環；可是它也最容易被忽視的一環。 中繼資料容易被忽視的原因 使用者會直接用到中繼資料的機會不多，而且中繼資料設置不當一般來說並不會影響到系統上線。 大部份的進行計劃中完全沒有提到中繼資料這件事。 資料倉儲團隊在作品質確認時不會去驗證中繼資料的正確與否。 專案結束要繳交的東西中很少包括完整的中繼資料。 系統操作與管理 系統操作與管理是橫跨資料提取到資料展現層的。 包括以下幾個項目： 檢視使用者的使用情形 What reports are used, frequency, who, … 系統的運作情形 Memory utilization, import efficiency, … 固定工作的設定 那個時間點開始進新的資料、系統出問題時要如何通知資料倉儲團隊人員等等 操作性資料商店 英文名為 Operational Data Store，簡稱ODS。 建置一個操作性資料商店與否可以以需不需要支援前端操作的系統為準。 操作性資料商店特性 (一) 主題導向 操作性資料商店是為了對不同的主題來做分析，因此資料的儲存是以主題為準。 這點與資料倉儲一樣。 經過整合 操作性資料商店中的資料是已被整合過的。 這點與資料倉儲一樣。 操作性資料商店特性 (二) 資料是經常被補充的 操作性資料商店裏的資料是經常被補充的。 這是由於前端的操作系統需要用到即時或近即時的資料。 含有詳細的資料 這是因為操