第三章資料倉儲維度擴增實作.pdfVIP

第三章 資料倉儲維度擴增實作 台北花卉交易資訊系統，從建構成功運作至今年已經兩年多，系統逐漸趨於完備，但 是對於只能得到交易的日期卻無法得到交易的確切時間感到小有遺憾，所以本章利用現有 的台北花卉資料倉儲進行時間維度的擴增，將現有的年月日時間維度，擴增至可下挖到時 分秒。實作的步驟牽涉到整個系統，為了清楚解釋維度擴增實作步驟，本章共分為五節， 在第 3.1節說明系統主架構以及原始資料所需的部份，第 3.2節說明在三階正規化資料庫 所修改的部份，第 3.3節說明在資料倉儲所修改與新增的部份，第 3.4節說明資料轉換服 務的設計，第 3.5節則說明架構線上分析處理系統的步驟。 3.1 系統架構 對於台北花卉資料倉儲及線上分析系統來說，每天的資料流程是當花卉公司將當日的 花卉交易資料透過檔案傳送服務 (FTS)傳送至交通大學的伺服器後開始。當伺服器接收到交 易資料後，透過第一次資料轉換服務 (DTS-1)將資料萃取、淨化並將資料轉入預先建構完成 的三階正規化資料庫中。在三階正規化資料庫中的資料在經由第二次資料轉換服務 (DTS-2) 的處理，把需要的資料轉入資料倉儲中。 當資料倉儲建構完成後，在緊接著利用 Cognos 套裝軟體把資料倉儲中的資料轉化成超方體(Hyper Cube) ，再透過線上分析處理系統(OLAP) 介面將資料發佈至網路上以供使用者查詢使用。 花卉資料倉儲及線上分析系統的架構與資料流程如圖 3.1所示如下。 交易 三階正規化 資料倉儲 線上分析 資料 資料庫 系統(OLAP) 檔案傳送服務 FTS 資料轉換服務 DTS-2 Cognos 套裝軟體 資料轉換服務 DTS-1 圖 3.1 系統架構與資料流程 25 3.2 三階正規化資料庫 本節將說明台北花卉資料倉儲系統的原始交易資料介紹以及三階正規化資料庫的架 構。本節共分為兩小節，第 3.2.1節介紹原始交易資料；第 3.2.2節則說明三階正規化資料 庫的架構。 3.2.1 交易資料介紹 花卉公司將每日的交易資料經過初步整理後透過檔案傳送服務 (FTS) ，將五個交易資料 檔案傳送至台北花卉資料倉儲伺服器，五個檔案分別為日交易資料表 (DT*.DBF) 、供應人 資料表 (SU*.DBF) 、承銷人資料表(BU*.DBF) 、花卉資料表(PR*.DBF) 以及日進貨資料表 (DP*.DBF) ，其檔案的格式如附錄二。 對於交易資料的五個檔案而言，日交易資料表中主要包含交易序號、成交日期、供應 人代碼、承銷人代碼、花卉代號、花卉等級、花卉數量、拍賣價格等資訊。供應人資料表 中主要包含供應人代碼、供應團體代號、供應人姓名、供應類別等資訊，其中供應類別可 分為農會合作社、供應團體所屬花農、個人、進口商、行口商、花班種植面積六種類別。 承銷人資料表中主要包含承銷人代碼、承銷人姓名、承銷區域等資訊，其中承銷區域可分 為北市、北部、中部、雲嘉、台南、高雄市、鳳屏等七個區域。花卉資料表中主要包含花 卉代號、花卉品名、花卉類別等資訊 。日進貨資料表中主要包含進貨日期、交易序號、供 應人代碼、花卉代號、花卉等級、花卉數量、底價等資訊。五個交易資料檔案內容如圖 3.2 所示。 26 圖 3.2原始交易資料檔案 3.2.2 三階正規化資料庫架構 在接收台北花卉公司所傳送的五個交易資料檔案後，必須透過第一次資料轉換服務將 交易資料匯入 SQL Server2000裡的資料庫，第一次轉換服務會在 3.4.1節介紹。而資料在 轉換的過程中須經過三階正規化的步驟，三階正規化的目的在於消除資料的重複性、相依 性、遞移性。因此在經過三階正規化處理過後的資料可以大幅的減少所佔用的儲存空間，