资料仓储技术篇-资料仓储与资料采掘概述(ppt 110).pptVIP

資料倉儲技術篇第 1 章 資料倉儲與資料採掘概述1.1 資料倉儲的發展與展望1.2 資料倉儲的架構1.3 資料倉儲的參照結構1.4 資料採掘技術1.5 資料採掘技術與工具 1.6 資料倉儲與資料採掘的應用 1.7 資料倉儲應用1.8 資料倉儲導向的決策支援系統1.9 資料倉儲的商業應用1.10 資料倉儲與資料採掘的應用習題 隨著資訊技術的不斷推廣和應用，許多企業都已經 在使用管理資訊系統(MIS)處理管理交易和日常業 務。這些管理資訊系統為企業累積了大量的資訊 因此，在資訊處理中，產生了與傳統資料庫有很大 差異的資料環境要求，和從這些巨量資料中獲取特 殊知識的工具的需要。 1.1 資料倉儲的發展與展望 傳統資料庫只保留了當前的業務處理資訊，缺乏決 策分析所需要的大量歷史資訊。為滿足管理人員的 決策分析需求，就需要在資料庫的基礎上產生適應 決策分析的資料環境─資料倉儲 (DW，Data Warehouse)。 1.1.1 從傳統資料庫到資料倉儲 決策處理的系統回應問題 在傳統的業務處理系統中，客戶對系統和資料庫的 要求是資料存取頻率要高，操作時間要快。 在決策分析處理中，客戶對系統和資料的要求則發 生了很大的變化。這些操作必然要消耗大量的系統 資源，這是對業務處理即時反應的交易處理系統所 無法忍受的。 決策資料需求的問題 在進行決策分析時，需要有整體、正確的整合式資 料，這些整合式資料不僅包含企業內部各部門的有 關資料，而且還包含企業外部的，甚至競爭對手的 相關資料。但是在傳統資料庫中，只儲存了本部門 的交易處理資料，而沒有與決策問題有關的整合式 資料，更沒有企業外部的資料。 在決策資料的整合中還需要解決資料混亂問題。例 如，企業進行併購活動之後，被併購企業的資訊系 統與併購企業的系統不相容，資料無法共享。 例如，在系統開發中，由於資金的缺乏，只考慮了 一些關鍵系統的開發，而對其他系統不予考慮，使 決策資料無法整合。 例如，員工的性別在人力資訊系統中可能用邏輯值 “M”和“F”表示，在財務系統中可能用數字“0”和“I”表 示。 例如，名稱為“GH”的欄位名稱在人事系統中表示為 員工的“員工號碼”，但是在銷售管理系統中卻表示 為“購貨號碼”。這樣在使用這些資料作出決策之 前，必須對這些資料作分析，確認其真實含義。 在決策分析中，系統常常需要從資料庫中萃取資 料、搜尋有用的資料，然後將這些資料導入其他文 件或資料庫中，供客戶使用。這些被萃取出來的資 料，有可能被其他客戶再次萃萃取。由於這種不加 限制的資料連續萃取，使企業的資料空間構成了一 個錯綜複雜的資料“蜘蛛網”(Spider’s Web)，即形成 了自然演化架構 資料的整合還涉及到外部資料與非結構化資料的應 用問題。例如行業的統計報告、顧問公司的市場調 查分析資料。這些資料必須經過格式、類型的轉 換，才能被決策系統應用。 為完成交易處理的需求，傳統資料庫中的資料一般 只保留當前的資料。但是對於決策分析而言，歷史 的、長期的資料卻具有重要的意義。 在決策分析程序中，決策人員往往需要的並不是非 常詳細的資料，而是一些經過匯總、彙總的資料。 決策資料操作的問題 決策分析人員則往往希望以專業客戶的身份而不是 參數客戶的身份對資料進行操作，他們往往希望能 夠用各種工具對資料進行多種形式的操作，希望資 料操作的結果能以商業智慧(Business Intelligence， BI )的形式呈現出來。 資料倉儲與傳統資料庫的對比 資料倉儲雖然是從資料庫發展而來的，但是兩者在 許多方面都存在著相當大的差異，如表1-1所示。 資料庫只存放當前之值，而資料倉儲則存放歷史值 資料庫中資料的目標是面對業務操作人員資料倉儲則是面對中高層主管 資料庫內的資料是動態變化的，資料倉儲則是靜態的歷史性資料 資料庫中的資料結構比較複雜，資料倉儲中的資料結構則較為簡單。 資料庫中資料的存取頻率較高，但是存取資料的數量較少；資料倉儲的存取頻率較低，但是資料存取量要遠高於資料庫。 資料庫在存取資料時要求回應速度很快，資料倉儲的反應時間則可能長達數小時。 1.1.2 資料倉儲的定義與基本特色 William H.Inmon在1993年所寫的論著《Building the Data Warehouse》則首先系統地闡述了關於資料倉 儲的理論，為資料倉儲的發展奠定了里程碑。在內 文中，他將資料倉儲定義為： “一個主題是導向的、整合式、隨時間變化的、不易失漏性資料的集合，用於支援管理層的決策程序”。 主題式導向(Subject oriented) 資料倉儲的創建、使用都是焦距於主題執行的。因此，我們必須了解如何按