工学类东北大学工学部.pptVIP

更多资源 * 横軸～　縦 * 横軸～　縦軸～ * 東北大学工学部　橋本研究室 東北大学工学部　橋本研究室 2007/4/20 東北大学工学部　橋本研究室 A General Framework for Mining Concept-Drifting Data Streams with Skewed Distributions～コンセプトドリフトが生じるクラス分布に偏りがあるデータストリームに対するデータマイニングの一般的な枠組み～ 出典：SIAM Conference on Data Mining 2007(SDM07) 著者：J.Gao, W.Fan,J.Han,P.S.Yu 発表者：橋本研究室４年　西村聖 所属：東北大学工学部 発表日：2007/4/20 2007/4/20 東北大学工学部　橋本研究室 * 目次 背景 既存手法の問題 予測誤差の原因 提案手法による誤差の削減 実験方法?結果 まとめ?考察 背景 分類：大量のデータを予め決められたグループ（クラス）に分 　けること 　　例. 不正アクセスの検出 　　毎日大量のアクセス履歴があるが,そのうち不正アクセスはごく僅か 　　　　　　　　　　↑　　　　　　　　　　　　　　　　　　　　　　　↑ 　　　　　　データストリーム　　　　　　　　　　　　　クラス分布の偏り また,不正アクセスの手段も日々変化していく（コンセプトドリフト） 　　不正アクセスは見逃すと大変！ 　クラス分布の偏り，データストリームのコンセプトドリフトに 対応できるような手法が必要となる 2007/4/20 東北大学工学部　橋本研究室 * 2007/4/20 東北大学工学部　橋本研究室 * 基本的なオンライン型分類学習の流れ 学習用データ 学習アルゴリズム 分類モデル クラス1 クラス2 分類 分類したいデータ データが発生するたびにモデル構築 データの発生 2007/4/20 東北大学工学部　橋本研究室 * 既存の手法の問題点 データのクラス分布のバランスが取れていて，安定したデータストリームを仮定している コンセプトドリフトが生じるクラス分布の偏ったデータストリームを仮定　　 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　　　 コンセプトドリフトを条件付確率の変化と捉えている．しかし実際に観測できるのは，結合確率であり 　　　 　　　　　　　　　　　　　　　　　　　　　　　 　　結合確率の変化が条件付確率の変化によるものか，生起確率の変化によるものかが分からない コンセプトドリフトを結合確率の変化と捉えることにより， 詳細な分析をする x:事例　y:クラス 2007/4/20 東北大学工学部　橋本研究室 * コンセプトドリフトと予測誤差の関係 予測誤差 コンセプトドリフトの発生?結合確率の変化 　 　　　 表１．コンセプトドリフトの種類 予測誤差はコンセプトドリフト発生の指標とはならず， 　 コンセプトドリフトに対応するためには既存の手法同様 最新のデータによるモデルの再構築が必要 変化なし 予測誤差 変化なし 変化する 変化する 変化する は分類モデルが予測するクラス 2007/4/20 東北大学工学部　橋本研究室 * 分類結果に含まれる誤差の種類 予測誤差＝ベイズ誤差（真の分類誤り率)+バイアス+分散 バイアス：分類に用いるモデルへの制約 分散：異なる学習データを用いた場合の分類モデルの予測の差 バイアスが大きすぎる?学習精度があがらない バイアスが小さすぎる?学習結果が安定しない バイアスは適切に設定すべき 提案手法は学習アルゴリズムにC4.5を用いているので， 　枝刈りによりバイアスを適度に保てる 提案手法の流れ サンプリング アンサンブル学習 学習アルゴリズム 分類モデル クラス1 クラス2 分類 分類したいデータ モデル再構築 最新データ データの発生 過去の少数クラス 学習用データ 2007/4/20 東北大学工学部　橋本研究室 * サンプリング 学習には最新のデータを用いるのがよいが, クラス分布が偏っているので過去の少数クラスの再利用と， 多数クラスの数を減らすことによりデータ分布の偏りをなくす 図３．サンプリングの流れ 少数クラスに分類される事例 多数クラスに分類される事例 過去の少数クラス 最新データ 2007/4/20 * 東北大学工学部　橋本研究室 2007/4/20 東北大学工学部　橋本研究室 * サンプリングによる分散削減 利点：過去の少数クラスも用いることにより，事