商業智慧與資料採礦的應用.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 資料簡化的方法 資料聚集： 資料聚集採用DW中的切換、旋轉和投影技術，對原始資料進行抽象和聚集。 資料聚集技術可以聚集資料現有欄位中的數值，或對資料欄位進行統計。 例如將月薪轉為年薪，將年產量按地區進行匯總等。 維度簡化（dimensionality reduction）： 資料中的變數選擇，遺漏相關變數或留下不相關變數都是有害的，通常使用屬性子集選擇（attribute subset selection）方法。 不相關或冗餘的變數增加資料量，維度簡化可以刪除不相關的變數減少資料量，提高效率。 如:預測是否喜歡某產品，可刪除電話號碼，留下年齡、性別、收入… * 資料簡化的方法 資料壓縮（data compression）： 應用資料編碼或變換，得到原資料的簡化或壓縮的表示。 資料壓縮分為無損壓縮和有損壓縮。如果原資料可以由壓縮資料重新構造而不丟失任何資訊，則使用的壓縮資料技術是無損的，反之則屬於有損的。 比較普遍的資料壓縮方法有小波轉換（wavelet transform）和主成分分析法（principal components analysis），兩者都是屬於有損資料壓縮法。 * 分析服務儲存提供資料採礦資料來源 客戶維度 資料採礦模型 產品維度 分析服務的Cube資料可以提供作為資料採礦的來源 Case Dimension Nested Dimensions 利用分析服務的彙總與計算能力強化處理速度 * 模型建立（ Modeling） Select Modeling Techniques DT, NN, NB, TS, SC, CL, AR, LR, LR, Text Mining Generate Text Design Build Model Assess Model * 模型的建立(CRISP-DM) 將資料切割為: 訓練資料 鑑效資料 測試資料 同一商業問題可以透過多種演算法， 調整參數找出最佳模型 Training Validation Test * 模型評估（ Evaluation） Evaluate Results Review Process Determine Next Steps * 模型的評估(CRISP-DM) Training Validation Test 使用 訓練資料集 建立預測模型. 使用 鑑效資料集 來避免模型對於訓練資料集產生記憶效應 使用 測試資料集 來選擇模型以及測量模型在預測未知資料的能力 * 模型的評估之累積增益圖(CRISP-DM) 累積增益圖指標 可以判斷不同採礦演算法的準確率 * 模型效益評估之錯差矩陣(CRISP-DM) 橫軸為預測結果，縱軸為實際結果 用來比較各類預測正確與錯誤之組合 * 佈署與應用（Deployment） Plan Deployment Plan Monitoring and Maintenance Produce Final Report Review Project * 佈署與應用(CRISP-DM) 將採礦的分析結果部署到商業模型中，達到自動化預測的效果，以提升營運利潤、改善商業流程 使用對象 決策者 行銷單位 財務分析 品保單位 * Data Mining 的商業價值 Reports (動態 Ad hoc) Data Mining Business Knowledge Easy Difficult 使用容易度 OLAP Reports (靜態) 商 業 價 值 資料來源:Microsoft Taiwan * Data Mining在各產業的應用 金融服務業 客戶貢獻度分析、信用評分、風險評估、客戶區隔、交叉行銷等。 保險業 顧客貢獻度分析、信用評分、風險評估、客戶區隔、交叉行銷、客 戶流失分析和詐欺偵測等。 電信業 顧客貢獻度分析、信用評分、客戶區隔、交叉行銷、客戶流失分析、銷售預測和詐欺偵測等。 * Data Mining在各產業的應用 製造業 客戶貢獻度分析、品質管制、行銷績效分析、生產分析和存貨分析等。 零售業 客戶忠誠度、客戶區隔、購物籃分析、定價分析、交叉行銷和銷售預測等。 生物科技、醫療保健、航太空業、環境、法律等 * 資料採礦無處不在 商業問題 Microsoft 演算法 預測類別變數，例如行銷回應、顧客流失、