DataMining-951资料探勘的应用.ppt

Data Mining - 951 Figure 1.4 Intrinsic vs. actual customer value PART IData Mining: 初探 Chapter 1 1.1 Data Mining: 定義 Data Mining 自整個資料庫中運用一種或多種電腦技術以自動分析或擷取知識的過程 The process of employing one or more computer learning techniques to automatically analyze and extract knowledge from data. 歸納法學習(Induction-based Learning) 自資料探勘所獲得知識通常是資料的模型或是歸納。 歸納法學習乃自概念明確、具體可知的例子中構造出通用的概念定義。 See example on page 4. 高爾夫球電視轉播贊助 饒舌音樂購買習慣 信用卡是使用模式 Knowledge Discovery in Databases (KDD) 知識挖掘(KDD) 是一種通常用以與資料探勘互相使用的術語。技術上，KDD是一種運用科學方法來作資料探勘的應用。 See flow chart in next slide The application of the scientific method to data mining. Data mining is one step of the KDD process. 知識挖掘流程 知識挖掘流程 選擇欲KDD的目標資料集合（Data Selection） 探勘前的資料處理（Pre-processing）（如資料過濾Data Cleaning） 資料轉換（Transformation）（含資料減量Data Reduction） 進行資料探勘（Data Mining）（依欲KDD的目標及資料屬性形式選擇適合的資料探勘演算法，以尋找出資料關係的類型Pattern） 探勘結果的釋意及所得關係類型的評估（Interpretation/Evaluation）（含知識的呈現Knowledge Presentation）等五階段 1.2 為甚麼電腦可以學習?資料探勘是一種學習 電腦學習的四個等級 事實(Facts) ：事實即是真相的簡單敘述 概念(Concepts) ：由一個或一群物件、特徵、或是事件的集合。 程序(Procedures) ：為達成目的所採行之步驟。 原則(Principles) ：其表現為最高次的學習，以真相為基礎所形成的通則與定律。 電腦擅長於概念學習，故DM產出概念結構。一般概念結構包括：樹狀、規則、網路圖、及數學方程式。 三個概念觀 概念可自不同明顯關係中被觀察出，吾輩可自三種概念觀加以應用至DM。 標準概觀(classical view) ：表示所有具有確定定義屬性的概念。標準概念觀對於概念的定義為明確且無令人誤解的空間。範例規則如下： 若 年收入 ? 30,000 且 目前職務的年資? 5 且 擁有自用住宅 = 是 則 優良信用風險 = 是 可能性概念觀(probabilistic view) 可能式概觀可用以表達”哪些可能”可成為概念成員的屬性。 假設人類會儲存概念並回想，那麼人類即可自個別範例中觀察並得出歸納(經驗法則) 。 因此如上例，其表達方式為： 持續按時繳納貸款者，平均收入是 30000 大部分擁有優良信用者，在同一家公司至少服務5年 大多數擁有信用者，擁有自己的住宅。 為優良信用者所呈現的普遍性的導引 See also, on page 7. 範例概念觀 (exemplar view) Exemplar view: 若一個給定例子與一個或多個已知概念範例相似，則此範例可為一個特別概念範例。 如上例，若申請者符合一個以上的候選條件，則申請人可被歸納為優良信用者。 Example 1: 年收入 = 32,000 在同一家公司服務年資 = 6年 持有房屋 Example 2: 年收入 = 52,000 在同一家公司服務年資 = 16年 目前租屋 監督式學習法 (Supervised learning) 自資料樣本中建立一個學習模型，利用此模型決定新型未知樣本的結論。 監督式學習的目的： 使用監督式學習自包含正例與反例學習概念之資料集中建立分類模型。 一旦分類模型建立後，則該類模型可被用以決定哪些最近出現且未知其分類的範例。 See next slide for example demonstration. Diagnosis example (診斷範例) 決策樹 (Decision Tre