资料采矿分类分析系统之建构与应用信用贷款违约与选股.pptx

資料採礦分類分析系統之建構與應用-信用貸款違約與選股系統應用 指導教授：姜林杰祐 博士學生：陳冠名摘要本研究以資料採礦的分類方法為核心，嘗試建構一開放式的分類分析系統，其內含的分類演算法包括ID3、C4.5、貝氏分類法與記憶基礎推論法等。為驗證本系統的有效性，本研究以銀行信用貸款資料庫為例，分類正常戶與違約戶；並將此分類工具應用於股市的分析、預測，期能以此系統發展資料趨導式的選股模型Company Logo報告大綱第一章、研究目的與動機。第二章、文獻探討。第三章、資料採礦分類分析系統開發。第四章、實例應用一。第五章、實例應用二。第六章、結論與未來研究。Company Logo研究動機與目的 近年來資料氾濫，如何在過度氾濫的資料中去蕪存菁，將無用的資料過濾，進而獲得有用的資訊、知識是相當重要的議題，而資料採礦即是對資料進行分析，以求在大量資料中獲取資訊的有效方法。Company Logo資料採礦方法在財金領域應用現況Philip Joos 等(1998) 將Logit Model以及決策樹用於比利時某大型銀行資料庫進行信用分類，獲得80%以上之的準確度。Nazli Ikizler等(2000)使用決策樹C4.5演算法對銀行放款資料進行分析，試圖找出令人感興趣的分類規則，此研究結果發現數條有用之分類規則，可供決策運用。Muh-Cherng Wu等(2006)以決策樹結合濾嘴法則，應用於股市交易，獲得13%的報酬率。Company Logo資料採礦於金融業之應用 應用領域應用情況信用卡公司信用卡公司使用資料採礦來增加信用卡的應用，作購買授權決定，分析持卡人購買行為，並偵測詐騙行為金融服務機構分析師使用資料採礦技術，來分析大量的財務資料，建立交易模型來發展投資策略銀行銀行使用資料倉儲來促進資料採礦作業，並詳細的分析客戶資料，然後整合這些成果以形成行銷策略，也可以使用資料採礦技術，識別客戶的貸款活動，調整金融商品以符合客戶需求，尋找新客源，加強客戶服務。 保險公司資料採礦技術最近已提供保險業者，從大型資料庫中取得有價值的資訊以進行決策，這些資訊可讓保險業者進一步認識客戶，並可有效的偵測保險詐欺。資料來源：吳振晃(2003) Company Logo資料採礦方法 分群。分群是針對樣本進行劃分，與分類不同的是，進行分類時使用者必須明確知道要以何種準則來對樣本進行劃分，而分群屬於非監督式學習法，使用者不需知道樣本要依何種準則進行劃分(有時也無法得知)，分群演算法會自動對樣本進行劃分，在圖形辨識、市場區隔等領域都有優異的表現，主要演算法有K-平均法、K-物件法等。關聯。此演算法主要是要探究，當某一事件發生時，是否會帶動另一事件跟著發生，是一種探究因果關係的方法，最著名的應用為購物籃分析，用以發現消費者的購買行為，以Apriori演算法最為經典。分類。為一監督式學習方法，主要用於對樣本進行類別的劃分，如對銀行客戶進行信用分級、預測違約戶…等都是其主要應用領域，分類包含了眾多演算法可供使用，如決策樹、類神經網路、支援向量機(SVM)、貝氏分類法、記憶基礎推論法(MBR)…等都是知名的分類演算法。Company Logo決策樹ID3：以資訊理論作為屬性選擇之依據C4.5：改良自ID3Company Logo貝氏分類法 貝氏定理：現實中，類別C中出現X客戶的機率無法求得 再假設各屬性值相互獨立 由上述可得Company Logo記憶基礎推論法 步驟1 選取訓練樣本集 步驟2 計算屬性距離絕對差：平方差：標準差：步驟3 計算資料距離，將上述求得各屬性距離加以組合成一個值，用以代表兩資料間的距離，常用合成方式如下 總和：標準化總和：歐基里徳距離：Company Logo記憶基礎推論法(續)步驟4 選取k筆鄰近資料進行表決，為了避免表決時有平手的情況，k應取單數為佳。步驟5 表決方式選擇，判定方式以選出之k個鄰近資料進行多數決，多者即為該預測樣本歸屬之類別，常用判定方式如下：民主選舉法：所選之k個鄰近樣本具有相同權重，以多者為勝。加權選舉法：依據所選之k個鄰近樣本與預測樣本的距離給予權重，距離預測樣本愈近，則權重愈大。Company Logo系統架構Company Logo決策樹流程 Company Logo貝氏分類法流程 Company Logo記憶基礎推論法流程 Company Logo記憶基礎推論法分析貝式分類法分析決策樹分析實驗流程銀行信用貸款違約分析Company Logo實驗流程資料獲取：將欲進行分析之資料載入資料表資料前置處理：共有雜訊處理、資料離散化、訓練/測試樣本選取三部份雜訊處理：將兩標準差以外之資料視為雜訊。資料離散化：以等寬裝箱法將連續型資料分為五類。訓練/測試樣本選取：隨機挑選151筆資料進行訓練，7