资料探勘在顾客关系管理上的应用DataMininginCRM-Microsoft.PDF

資料前處理技術 Data Preprocessing Techniques 李御璽 (Yue-Shi Lee) 銘傳大學資訊工程學系 leeys@mail.mcu.edu.tw Knowledge Discovery Process Data Preprocessing • 建立資料倉儲的過程即是資料前處理的過程 – Data Selection, Cleansing, Enrichment, Coding • 在Data Mining的整個運作過程，資料前處理 是最重要的一個步驟，資料前處理得當，對後 續Data Mining過程是否有效和質量的好壞有 重要的影響 – 有高品質的資料，才有高品質的探勘結果 • 資料前處理在整個Knowledge Discovery Process中，其重要性和所花費的時間，均位 居其他步驟的首位 – May Take 60% ~ 80% of Effort Data Preprocessing • Data Selection(資料選擇) – Data Integration(數據整合) – Data Filtering(數據過濾) • Data Cleansing(資料清理) – Wrong Value(錯誤值) – Outlier(離群值) – Missing Value(空值) • Attribute Enrichment(欄位擴充) – 外部資料 • Data Coding(資料編碼) – Data Transformation(資料轉換) – Data Reduction(資料精簡) • Record Reduction(記錄精簡) • Attribute Value Reduction(域值精簡) • Attribute Reduction(欄位精簡) Data Selection: Data Integration • 多重資料來源的整合問題 • 主要工作 – 消除資料不一致 • 數值不一致 (Data Value Conflict) – 台幣VS.美金 • 綱目不一致 (Schema Conflict) – 會員編號VS. 顧客編號 – 消除資料重複性 • 數值重複 – A及B資料表都有某會員的資料 • 綱目重複 – 整合後的欄位中同時包含會員編號及顧客編號 Data Selection: Data Filtering • 建立區隔化模型 – 有些單一變數雖對整體客群有鑑別力，但不一定對特定客群亦具 有鑑別力 – 舉例來說，對申請評分模型而言，「年齡」這個變數在判定績效 指標上具有一定程度之鑑別力，但若將申請樣本依收入區分成「 高收入分群」與「低收入分群」，如下圖所示，可看出壞件率 (Bad%)在高收入分群中，各年齡區間的差異並不顯著 Data Selection: Data Filtering • 建立區隔化模型 – 因此，若能建立區隔化模型 ，將可替每個客群找出適合它的變數 與模型，進而大幅提升整體模型的鑑別力 – 但額外需提醒一點，經過分群而進行開發之區隔化模型，必須在 稍後階段進行風險校準(Calibration) ，將各分群評分結果所代表 的風險程度一致化 • 以信用卡行為評分模型為例 – 往來期間不足5個月者予以排除，因無足夠期間之帳戶歷史資料做 為自變數來源 – 延滯客群適用催收評分模型，故不予納入 – 目前沒有延滯的客戶則是我們主要的目標客群，以業務與統計實 證皆指出全清戶(Transactor)與循環使用戶(Revolver)在風險程度 與風險型態上均有顯