资料库知识发现与探索.pptVIP

資料庫知識發現與探索 Everything is related to Money! 資料倉儲的資料種類： 整合性資料 (integrated data) 詳細和彙總性的資料 (detailed w/time-stamp、 aggregated and summarized data) 歷史資料、解釋資料的資料 (Meta Data) 轉換及整合資料的過程(ETL)，是建立一個資料倉儲最大的挑戰： 各業務部室 各種商品 財務會計資料、客戶帳務資料 分析報表、線上交易回饋 “Everything” means Failed! 資料倉儲完整發展服務流程 商業模型設計 其他資料倉儲應用-OLAP/Reports 以預先計算完成的彙總資料，分析過去歷史中的數據變化，可以再轉為資料採礦的訓練資料源 使用者先有一些假設，然後以OLAP來查證假設是否成立。 在使用OLAP或其他Query的工具時，使用者是自己在做探索(Exploration) 更重視簡易的個人化分析與報表結果 OLAP加值應用整合 與OLAP的整合 提供分析人員驗證與動態的資訊，提昇營運與行銷的競爭性與互動性。 利用Star Schema中的信用評等維度，與其他客戶、卡片等資料維度作交叉分析，提供ad-hoc query，以及產生月報 資料採礦所需的工作量 Techniques BI Deployment 資料採礦主要技術 Classification(分類) Estimation(推估) Prediction(預測) Affinity Grouping(同質分組) Clustering(群集化) Description(描述) Classification(分類) 分類 將每一個群集的特徵清楚定義，並且透過訓練組資料建立出模型，將未歸類的原始資料分門別類。 應用實例 將信用狀況區分為高風險、中度風險以及低風險 找出壽險業或證券業的詐騙事件 應用技術 決策樹、記憶基礎理解、連結分析 Estimation(推估) 推估 處理連續性的數值，推估未知的連續性變數:收入、身高、信用額度等 建立模型來為輸入變數做評分，根據輸出的評估分數來設定門檻值，就可以完成分類的工作 應用實例 推估未來五年役男人數 推估家庭的總收入 推估客戶的終身價值 推估顧客接受轉帳繳款的機率 應用技術 類神經網路 Prediction(預測) 預測 推估未來的數值以及趨勢 以歷史資料來建立模型，將最新資料作為輸入值，以獲得關於未來變化的預測值。 應用實例 在雜貨店中，哪些商品總是會被同時購買 如果持卡人申請轉帳付款，預測本月餘額會有多少 預測哪些顧客會在未來六個月內流失 應用技術 時間數列分析 決策樹 類神經網路 Affinity Grouping(同質分組) 同質分組 發覺哪些事物總是同時發生 關聯分組可以用來確立交叉銷售的基礎，藉以設計吸引消費者的促銷方案。 應用實例 零售商規劃貨架的擺置方式 型錄的編排方式 應用技術 羅吉斯迴歸 類神經網路 關聯分組 購物籃分析 Clustering(群集化) 群集化 將一群異質的群體區隔為同質性較高的子群。 按客戶往來績效再作價值分群或群集，找出客戶行為模式、風險承受、忠誠度等客戶價值模型，也期望在原有客戶中，能發掘既有客戶增加購買公司其他不同產品 與分類之不同點 群集化並沒有依靠事先明確定義的類別來進行分類，而且群集的意義要靠事後的闡釋才能得知。 群集化通常是其他資料採礦以及模型化的前導作業。 應用技術 群集分析 資料採礦專業方法論 步驟1-企業需求探索 目標了解與預期效益 研析現有的商業流程，了解背景，以確認資料採礦可以應用的領域與範圍。 適用對象 與專案之未來使用者進行訪談，以確認適用對象範圍、資料採礦的優先順序，並對問題作初步的分析。 決定專案主題、範圍、進行流程 協助客戶建立智慧型的資料採礦流程，範圍包含工具的導入與採礦方法論提供、產品教育訓練及針對特定採礦議題之導入建置。 信用評等方法 經驗法則 信用評等制 將顧客的信用品質細分多項評估考核，最後綜合給予一個適當的等級，代表對客戶的信用評價 信用評分制 將顧客的信用品質細分多項，衡量其重要性後給予不同權重，再對每一細項考核給予分數， 與權重相乘加總後得一信用總分，分數越高表示顧客償債能力越強 混合評等制與評分制 考量現實環境的複雜程度 步驟2 –現有資料探索 資料品質審核 對於專案範圍內客戶現有的資料庫、報表系統、資訊平台之內容進行了解，以便找出針對與特定問題相關原因與象徵之資訊。 資料描繪 初步評估取得資料是否可支援該企業問題 資料假設 由前兩步驟取得的結果，分析對之後流程的影響。包含資料涵蓋面、資料內容正確性、資料切題與否等因素所衍生的限制或影響。 信貸資料特性範例 簡易信用評等建立-