资料探勘2资料仓储.pptx

第二章 資料倉儲內容概要簡介資料倉儲的操作方法與實作資料倉儲建置程序資料倉儲建置實例總結簡介(1)資料倉儲乃是利用大量歷史資料之資料庫，提供彙總或是統計的資訊，以支援決策之使用。傳統交易資料庫很難從中挖掘出有用的資訊，原因：交易資料都是比較瑣碎、不完整，難於直接運用交易資料庫用來記錄公司營運作業，並不適用資料分析。傳統資料庫並不能回答經營者所關心的問題，例如：商品甲銷售量的增加，是否會同時帶動商品乙的銷售？用哪一種商品促銷效果最好？……..資料倉儲的誕生，為了回答主管所關切的決策問題。簡介(2)資料倉儲的建置過程：收集資料資料整理資料整合資料載入和定期資料更新簡介(3)資料倉儲基必須配合線上分析處理與資料探勘才能彰顯它的功能。線上分析處理系統是多維度結構的資料分析工具，能夠以不同的主題和角度，快速查出各種統計資料。資料探勘則是利用分類、群集分析、關連性、序列分析、機器自我學習及其它統計方法，自歷史資料庫中，找出隱藏、未知的，但卻有用的資訊。線上分析處理是原原本本的呈現出查詢的結果。資料探勘是探勘出新且有用的知識，在資料的運用更勝於資料倉儲。資料來源資料倉儲的資料來源是由日常運作的資料庫系統所收集而來，例如:賣場或是連鎖店的每一筆交易資料電子商務網站所記錄的交易資料信用卡銀行記錄持卡人的消費行為人力資源網站記錄媒介結果入口網站記錄瀏覽路徑、畫面、停留時間電話公司記錄通話的型態與時間網路學習網站收集學習者的學習行為資料名詞定義(1)資料集合(data set)、資料表(table)：資料集合是指收集並儲存於資料庫或資料倉儲中的資料，例如會員資料表用來記錄會員的基本資料、銷售交易表用來記錄購買品項。資料維度(dimension)：資料集合利用有限的屬性或特徵(attribute)來描述所包含的資料，稱之為資料維度。資料維度簡單區分成連續性資料維度(continuous dimension)和類別性資料維度(categorical dimension)。資料名詞定義(2)資料數值(value)：每一資料維度會有一相對應的值域(domain)，而值域中所有可能的值即所謂的資料數值，例如：薪水可能為30,000、40,000、……等等任何數字資料。資料紀錄(record)：根據資料維度所描述之每一資料數值集合。資料倉儲的特性(1)整合的資料:將不同來源的資料以一致的命名方式、統一度量單位、相同格式等加以整合儲存，以利未來存取。主題導向的資料:各部門因為業務性質不同，所使用的作業性資料也會因部門而有所不同，像是客服部門就只會存放產品和客戶資料；製造部門就只會存放零件與供應商的資料。資料倉儲的特性(2)歷史性資料:資料倉儲主要是提供過去某個時期的運作狀態，例如過去三年、五年，或是最近半年的銷售金額、獲利率等資訊，藉此分析、幫助決策，決定未來企業應採取的策略。唯讀資料:當我們將作業性資料轉移到資料倉儲後，應當就不需再做什麼變動，除非是輸入錯誤的資料，所以資料倉儲主要是在提供資料快速彙總與查詢的功能，而不在於資料修改的功能。資料倉儲與一般資料庫的差異比較特性OLTP系統特性OLAP系統特性功能需求針對企業現行業務的自化而設計針對企業資料分析需求而設計資料類別資料比較偏重細節資料偏重彙總或是統計資訊異動頻率資料隨時可被新增、刪除以及變更歷史性的資料，異動機會少設計方式資料庫設計採用正規化設計為了執行效率不採用正規設計儲存方式使用關聯式資料庫架構存資料使用多維度資料庫結構完整性資料未整理過，可能缺失或是不一致資料經過整理較一致、完整資料倉儲種類資料倉儲：分析未來決策支援的需求，建置方式是以整個公司的需求來建構的，以便取得決策資訊，像是公司業績、各分店績效等等。資料超市：通常是指規模較小、只針對某些特定主題或是部門而設計的資料倉儲。多層次資料倉儲：指的是前面兩者組合的一種方式，最上層的資料倉儲將資料提供給下層的資料超市，資料倉儲的組織有層次架構。聯合式資料倉儲：指的是整個資料倉儲系統是由多個獨立的資料倉儲、資料超市或是多層次資料倉儲組合完成。內容概要簡介資料倉儲的操作方法與實作資料倉儲建置程序資料倉儲建置實例總結資料倉儲的操作方法與實作範例資料倉儲的多維度立方體示意圖 下鑽(drill-down)方法(1)在時間維度(2003 Q4)的下鑽( drill-down)操作 下鑽(drill-down)方法(2)在商品維度(食品類)的下鑽( drill-down)操作 上捲(roll-up)方法(1)在時間維度的上捲(roll-up) 操作 上捲(roll-up)方法(2)在商品維度的上捲(roll-up)操作 切片(slice)與切塊（dice）方法 (1)針對區域維度(北部客戶)的切片( slice) 操作 切片(slice)與切塊（dice）方法