区隔模型建模策略.pptVIP

Lift Chart 能夠透過比較多個模型的Lift Chart來找出最佳模型 在預算有限時，Lift Chart能夠告訴我們名單執行的效果 　 Classification Matrix 3R (Response Rate, Recall, Range Reduce) 回應率(Response Rate) ↑ --稀有事件出現的比率 反查(Recall) ↑ --預測稀有事件時，遺漏稀有事件的狀況 名單縮減(Range Reduce) ↓ --將稀有事件範圍縮小的程度 從分類矩陣看起… 橫軸為預測結果，縱軸為實際結果 原始購買回應率為(6961+2171)/(6961+2497+2171+6855)=49.4% 經過資料採礦模型: 回應率=6961/(6961+2497)=73.6% 反查= 6961/(6961+2171)=76.22% 名單縮減= (6961+2497)/ (6961+2497+2171+6855)=51.2% 交叉驗證 (Cross-validation) 設定樣本折疊數(fold) 各樣本折疊產生相近評估數字，表示模型信度高 QA * * * * * * * * * SQL 2005畫面 Your Title SQL Server 2008 資料採礦：資料採礦An Overview of Key Data Mining Capabilities 貝建德　max@.tw AsiaMiner Senior Consultant * Your Title * Agenda SSAS Data Mining 2008新功能介紹 建置『決策樹』及『貝氏機率分類』資料採礦模型 檢視採礦精確度圖表 SSAS Data Mining 2008新功能介紹 SSAS Data Mining 2008全新功能 演算法 新增ARIMA時間序列演算法 採礦結構 定義訓練組與測試組 設定區隔模型 模型驗證 交叉驗證(Cross-validation) Office 2007資料採礦增益集 完整與強大的演算法 時序群集 決策樹 群集 時間序列 關聯規則 貝氏機率分類 類神經網路 羅吉斯迴歸 線性迴歸 時間序列 時序群集 類神經網路 貝氏機率分類 羅吉斯迴歸 線性迴歸 決策樹 群集 關聯規則 分類 推估 區隔 關聯 預測 完整與強大的演算法 時間序列演算法 SQL Server 2005：ARTXP 擅長短期數值變動預測 SQL Server 2008：ARIMA 擅長長期趨勢預測 提供ARTXP+ARIMA混合模式(PREDICTION_SMOOTHING) 模型穩定性挑戰 模型預測的結果 Over-fitting 使用測試資料集 Training Testing 使用訓練資料集建立預測模型 使用測試資料集來避免模型對於訓練資料集產生記憶效應 如何產生測試集 SSAS 2005：利用SSIS的「百分比取樣」以及「資料列取樣」節點自行抽樣 SSAS 2008：採礦結構中利用測試資料百分比參數進行取樣 區隔模型建模策略 使用單一模型不一定可以獲取最大之建模成效 區隔模型可以專注於特定樣本，以找出更精細的規則內容 如何設定區隔模型 SSAS 2008：採礦結構中利用設定模型篩選器建立出區隔模型的資料集 模型驗證 驗證模式 效度 增益圖 與 收益圖 散佈圖 分類矩陣 信度 交叉驗證(Cross-validation) (SQL 2008 Enterprise Edition) 交叉驗證 設定樣本折疊數(fold) 各樣本折疊產生相近評估數字，表示模型信度高 5-fold cross-validation 1,2,3,4建模，5驗證 2,3,4,5建模，1驗證 1,3,4,5建模，2驗證 1,2,4,5建模，3驗證 1,2,3,5建模，4驗證 Office 2007 Data Mining Add-ins 將Office作為資料採礦使用者端工具 Office 2007 Data Mining Add-ins Office Excel 2007資料表分析工具 Office Excel 2007資料採礦用戶端 Visio 2007 資料採礦流程範本 Office Excel 2007資料表分析工具 分析關鍵影響因數(Analyze Key Influencers) 偵測類別目錄(Detect Category) 根據範例填滿(Fill from Example) 預測(Forecast) 反白顯示例外狀況(Highlight Exceptions) 狀況分析(Scenario Analysis) Office Excel 2007資料表分析工具 SQL Server 2008中新增 購物籃分析(Basket A