決定木 decision tree - lab2.toho-u.ac.jp.pptVIP

* * * * * 樹木モデルtree-based model 平岩将良 樹木モデルとは？ 決定木decision tree 回帰木regression tree　　　等がある 根root 節nodes 葉leaves 枝branches 樹木モデル 応答変数 ~ 説明変数1 + 説明変数2 + ??? のような線形モデル（GLM）で扱う形のデータ 説明変数がいくつあっても1つの樹形図で結果が でてくるので、データが直感的に理解しやすい 解析できるデータ 利点 樹形モデルを扱えるRの関数 tree() rpart() mvpart() 今回はmvpartを使用 それぞれ樹形の作り方が異なる 決定木 DECISION TREE 決定木ってなに？ 集合時間に 間に合うかどうか 応答変数がカテゴリカル（質的）な場合の樹木モデル 例 集合時間に 寝た時間 昼寝 雨 間に合う 23時 した 降らなかった 遅刻 24時 しなかった 降った 遅刻 2時 した 降らなかった 間に合う 4時 しなかった 降った 遅刻 3時 しなかった 降った 間に合う 2時 した 降らなかった ： ： ： ： 応答変数 解析の流れ 生成?生長 剪定 枝を伸ばす いらない枝を切り落とす 解析の流れ 生成?生長 剪定 枝を伸ばす いらない枝を切り落とす 生成?生長 ジニ係数 2個とりだしたとき この組合せがでる確率 =1-((1/5)2+(1/3)2)= 0.849 ジニ係数 不純さを表す指標（純粋0?1不純） データ 　遅刻 　間に合う 降らない 降る 2時より前 2時以降 雨が 寝たのは した しなかった 昼寝 0.365 0.4375 加重平均 加重平均 0.465 加重平均 ジニ係数（不純度）の一番低い分岐点を採用 0.32 0.44 0.375 0.5 0.48 0.44 ジニ係数 データ 　遅刻 　間に合う 説明変数 降らない 降る 雨が それぞれを同様に分岐させていく 生成?生長完了 雨が 降っている 降っていない 夜寝たのは 2時以降 2時より前 遅刻する 間に合う 遅刻する 昼寝した yes no 間に合う 集合時間に 間に合うかどうか 解析の流れ 生成?生長 剪定 枝を伸ばす いらない枝を切り落とす 剪定 交差確認法cross validation 1.データをテストデータとトレーニングデータに分ける。 2.トレーニングデータだけでモデルをつくる。 3.できたモデルとテストデータを比較し、答え合わせをし、精度を求める。 4.1~3をn回繰り返し、平均する。 枝の剪定 精度（小さい程よい） モデルの複雑さ 完成 雨が 降っている 降っていない 夜寝たのは 2時以降 2時より前 間に合う 遅刻する 遅刻する ?雨が降ると遅刻する ?昼寝の有無に関係なく、寝るのが遅いと遅刻する 回帰木 REGRESSION TREE 応答変数が量的な場合基本的には決定木と同じ 例えば… 線形モデルだと 回帰木だと ありがとうございました 体長 2.00mm 2.00mm 分類木 * * * * *