资料仓储与资料探勘演示课件.pptVIP

資料倉儲與資料探勘 好好的 資料倉儲之介紹 資料倉儲的目的是希望藉由整合公司內部的資料並綜合各種外部資料，進而對公司重要決策者提供一個整體的、廣泛的訊息認知、以供完成一策略性的決策 根據Meta Group在1993年的調查，僅有5%的公司對資料倉儲有興趣。到了1994年已上升至90%，可見未來幾年資料倉儲是一極為重要的成長領域 好好的 資料倉儲之介紹(續) 根據Meta Group的調查，資料倉儲的軟體硬體服務與市場規模將由1996年的20億美金成長到2000年的120億美金，使得如IBM、Oracle等知名大廠紛紛投入此一領域 根據IDC在1996年對62家公司所作的研究顯示，資料倉儲的投資報酬率最高可達到600%，且有一半財務利益來自於決策的制定，顯示資料倉儲確實可以支援組織的決策之制定 好好的 資料倉儲之定義 資料倉儲之父Bill Inmon認為資料倉儲為決策支援系統的核心 Bill Inmon和Chuck Kelley認為資料倉儲不僅為資料庫、且具有下列特性： 整合性：包含應用程式、資料庫、電腦系統 主題導向：回答組織特定問題 時間變數：隨時間變化的動態資料 非變動性： 好好的 資料倉儲之定義(續) John van den Hoven認為資料倉儲是經改良過的決策支援系統，可產生高階的(high-level)、整合的(Integrated)、系統化的(organized)、結構化的(structured)資料以應用於協助商業決策 綜上所述，資料倉儲是經由建立集合式的資料倉庫，從多個分散的資料來源中蒐集資料，配合分析工具，支援決策者的決策制定 好好的 資料倉儲之特性 傳統資料庫著重於單一時間之單一資料處理(one record at a time)、偏重於擷取詳細之資料以供參考、注意資料檔的構成及資料正規化(normalization)，且使用者多為中階經理人員 資料倉儲注重某一段時間內之綜合資料(summary data on a given time period)、注重大批資料提供之走向趨勢、注重資料本身所內涵之意義及訊息，且使用者為決策支援系統和高階主管資訊系統的使用者 好好的 資料倉儲之技術 資料儲存(Data Store) 現在資料倉儲中之資料儲存可稱為作業型資料儲存(Operational Data Store) ，一種儲存機制 依資料時效性區分，可將資料區分為即時的(Real-time)、接近即時的(Near Real-time)、與某時點(Point-in-time)的資料 一般資料倉儲儲存都是歷史資料，可稱為時點性的資料(Point-in-time data)，其應用範圍包括簡單的查詢到複雜的資料提煉等 好好的 資料倉儲之技術(續) 資料提煉(Data Mining) 資料提煉是屬於發現導向(discovery-based approach)方式，從不同資料來源蒐集大量資料，經過詳確的分析後，提供有價值的資訊給使用者，一般用於行銷決策上。 資料提煉常可發掘出超越歸納範圍的關係，與傳統OLAP(On-Line Analytical Processing)大不相同，可用於個人化行銷。 好好的 資料倉儲之優缺點 優點 有形的優點 可整合企業各部門的資料及減少作業成本 企業內部文件趨向單一規格化，便於儲存與查閱。此一企業內文件規格之整合乃是一極大優勢 好好的 資料倉儲之優缺點(續) 無形的優點 資料來源可由各部門取得，充分運用組織資源 確保日常作業不受干擾 提升企業的效率與生產力 可充分運用組織所掌控的資訊來獲競爭優勢 好好的 資料倉儲之優缺點(續) 提供更快的資訊以增強加速決策的品質 提供即時有效的資訊 資料可信賴度高 使用者可經由單一查詢介面獲得所需資訊 可從倉儲的歷史資料中預測未來趨勢與結果 好好的 資料倉儲之優缺點(續) 缺點 資料倉儲的開發往往為一極大的投資，風險性高 資料倉儲的開發相當費時 若是軟硬體規格不一，將會有無法跨平台存取資料的問題 倉儲中龐大的歷史資料的管理問題- 需用彙總資料(metadata)技術加以管理 資料更新的問題- 可採非同步方式更新 好好的 資料倉儲之發展架構 由於資料倉儲為一高投資、高風險、需求不定且開發費時的一項工程，所以需要做長期的規劃，應採雛型法(Prototyping) 開發。 開發過程主要分為四個階段，分別是： 資料收集 系統分析 系統設計 系統維護 好好的 資料倉儲之發展架構-資料收集 資料收集 資料收集的主要目的在於定義企業需求。必須先成立工作小組或指導委員會(steering committee)，系統開發的工作交由工作小組負責，而指導委員會扮演監督、控制與管理的角色。 企業目標訂定，並研擬達成這些目標所需的決策過程及所需資料。 此