2005年度情報理論ガイダンス -i.pptVIP

決定木-II 学習目標 １．○与えられた事例集合から，指定された属性選択基準に基づいて決定木を生成 できる 利得 利得比 ２．△事例数に応じた決定木の検証法を 設定できる 事例が十分 事例が不十分 ３．△枝刈を適切に行える 決定木 属性とクラスの対からなる事例集合 身長Ｈ， 収入Ｌ， 学歴Ｈの場合は？ 身長 収入 学歴 クラス L M H + H L L - H L H - H H H + L L H - H H M + L M M - H M M - 決定木 属性とクラスの対からなる事例集合 身長Ｈ， 収入Ｈ， 学歴Ｌの場合は？ 身長 収入 学歴 クラス L M H + H L L - H L H - H H H + L L H - H H M + L M M - H M M - L 学歴 H M M H L,M,H:+ L,M,M:- H,M,M:- 収入 H,H,H:+ H,H,M:+ H,L,L:- H,L,H:- L,L,H:- ＩＤ３で生成された決定木 赤（楕円）ノードは判別ノード 最も上の判別ノードをルートノード 青ノードはクラスノード なぜ「収入」→「学歴」の順？ 属性選択基準 利得　(Information Gain) 　 該当（現時点で残った）事例集合のエントロピー　 － 候補属性で分岐した場合のエントロピーの期待値 利得比 (Gain Ratio) 利得/候補属性で分岐した場合の分割エントロピー 補足 　　エントロピー　→　クラスに関するエントロピー 判別ノード１ 身長 エントロピーの期待値 = 0.95 bit 収入 エントロピーの期待値 = 0.34 bit 学歴 エントロピーの期待値 = 0.84 bit 最も低い （予想つきやすい） ので選択 エントロピー(情報量の期待値) n個の事象がそれぞれ確率p1, p2 ,…, pnで　発生するとき、この事象の集合の不確定度　を示す 収入のときのエントロピーの平均 = 0.344 bit L H M L,M,H:+ L,M,M:- H,M,M:- 収入 H,H,H:+ H,H,M:+ H,L,M:- H,L,H:- L,L,H:- エントロピー = 0 bit エントロピー = 0 bit エントロピー = -1/3 log2 1/3 - 2/3 log2 2/3 = 0.917 bit エントロピーの 平均 ＝0x3/8 + 0x2/8 + 0.917x3/8 =0.34 bit 判別ノード２は？ L ？ H M 収入 H,H,H:+ H,H,M:+ H,L,M:- H,L,H:- L,L,H:- L,M,H:+ L,M,M:- H,M,M:- 残りのデータに対して 身長のエントロピーの平均＝0.666 bit 学歴のエントロピーの平均＝0 bit 決定木生成アルゴリズム STEP1: 該当事例集合Cのすべての事例が同一　クラスに属するなら，そのクラスノードをつくり，停止する．それ以外なら，属性選択基準により一つの　属性A*を選んで判別ノードをつくる． STEP2: 属性A*の属性値（a1, a2,…, an ）によりCをC1, C2,…, Cnにわけてノードをつくり，属性値の枝を張る． STEP3: それぞれのノードCi(1≦i≦n ) に対して　　このアルゴリズムを再起的に適用する． 決定木の例 事例集合 身長 収入 学歴 クラス L M H + H L L - H L H - H H H + L L H - H H M + L M M - H M M - L 学歴 H M M H L,M,H:+ L,M,M:- H,M,M:- 収入 H,H,H:+ H,H,M:+ H,L,M:- H,L,H:- L,L,H:- 属性選択基準（再登場） 利得　(Information Gain) 　　該当（現時点で残った）事例集合のエントロピー　 － 候補属性で分岐した場合のエントロピーの期待値 利得比 (Gain Ratio) 利得/候補属性で分岐した場合の分割エントロピー 利得 H(C) － H(C|A) 利得が最も高かい属性A = A*を選択 H(C)は該当事例集合Cのエントロピー 　　　　m: Cのクラスの種類 　　p(i) : Cに含まれているクラスiの事例の確率 H(C|A)はCをｎ種類の属性値を持つAでn分岐した場合の　エントロピーの期待値(Cの条件付きエントロピー) p(ai) :Cにおいて属性Aが値aiをとる確率 　H(C|ai):　Aの値がaiである事例集合(ノードC