建立預測模型.ppt

Therefore, except for the root node, features in a classification tree are not evaluated on the entire set of instances. 因此，除了在根節點以外，在其他節點並不是用全部的資料計算information gain The information gain of a feature depends on the set of instances against which it is evaluated, so the ranking of features for some internal node may not be the same as the global ranking. 一個變數的information gain是多少跟是哪些資料用來計算IG有關，所以在決策內的節點計算變數的排序，跟在根節點計算變數的排序未必相同 Example: Addressing the Churn Problem with Tree Induction * * 非監督式：Equal-Width、Equal-Frequency、 監督式：Entropy-based * * * YES NO 是類別值 頭 方形 圓形 身體 長方形 橢圓形 身體顏色 黑色 白色 * * * 的p(c_i│D)為在D節點上c_i類別值所占的比例，此值會介於零到一之間，值越小代表在D節點時較能有效分辨出類別值；相反的，若是值越大代表在D節點時各類別值分布的越平均。 * 選擇IG大的作為分支，接著下去繼續算attribute的IG值，樹一直長下去。 當決策樹模型建置完成，為了避免現有資料的類別值本身就是錯的、資料筆數過少等問題，而產生模型過適(overfitting)，通常會利用悲觀錯誤率(pessimistic error rate)對決策樹模型進行修剪。第五章將進行講解。 * 離散化，找切割點 * 這邊的例子又會回到之前紐約市的churn rate * 這邊的例子又會回到之前紐約市的churn rate * 視覺區段　分類樹是如何分區實例空間 實例空間是簡單描述資料功能的空間 一種常見形式可視化實例空間是散佈一對特徵，用來比較 變數對變數 相關性和關係 * 儘管資料可能包含幾十個或數百個變數，它是唯一可以同時 視覺化分割二維或三維。儘管如此，視覺化模型 在實例空間中的幾個維度對於理解不同類型的ｍｏｄｅｌ是有用的 因為它在於高維空間的模型提供了洞察力。 * A classification tree and the partitions it imposes in instance space. The black dots correspond to instances of the class Write-off, the plus signs correspond to instances of class non-Write-off. The shading shows how the tree leaves correspond to segments of the population in instance space. 例如，途中左邊一個簡單的分類樹旁邊一個二維 實例空間圖：樹的根結點在實例空間圖上以Ｘ軸表示，Ｙ軸則是用ａｇｅ Blance以50K做區隔。對應到實例空間圖試用一條垂直線在x軸上的平面分割 AGE區隔則是對應到實例空間圖是用一條平行線在平面上分割 核銷（黑點） 非沖銷（加號） 就是說分類樹可以用視覺化的方式來呈現 * You classify a new unseen instance by starting at the root node 分類樹除了可以用實例空間表式 也可以用規則集來表示 從根結點開始，然後跟著attribute test 往下直到最後的葉結點，每個走的路徑都可看成一個規則， * 從樹的頂端開始往下，直到樹的葉節點，每一個路徑都代表一個規則 * 以剛剛的圖為例，得到以下四個規則 * As the model becomes larger, some people will prefer the tree or the rule set. 所以說分類樹是相當於規則集何。 這兩種方法見仁見智，在model比較大時，有些人喜歡用看樹有些人喜歡看規則集 * 接下來是要介紹機率的計算 剛剛說的是分類樹，在很多決策的問題中，我們有時想要做的不是把他們分類，而是想要更多的資訊做”預測” 例如，在客戶流失預測問題，不是單純地 預測一個人是否在合約到期後90天之內離開公司， 我們希