半教師あり学習チュートリアル.pptVIP

Overlap がない状態でもpropagationでうまくいく 隣接するノードは類似のラベルを持つ（図は Zhu 2007 より引用） * * 特長 グラフ理論など数学的な背景が確立 よいグラフが得られていればよい性能が得られる 問題点 適切なグラフ構造（やエッジの重み）を得ることが難しい 計算量が相対的に大きい Transductive な方法が多い Transductive: テスト事例が既知のときの学習 Inductive: 未知データを含む全データを対象 * Self/co-training 教師あり学習との親和性が高いのでよく使われてきた うまくいったりいかなかったり、タスクに応じて使わないといけない グラフに基づく手法 NLP タスクにおけるよいグラフは自明でない 計算量が相対的に大きい * 言語処理学会第14回年次大会チュートリアル: 半教師あり学習による分類法:—現状と自然言語処理への適用—, 鈴木潤?藤野昭典 ICML 2007 Tutorial: Semi-supervised Learning, Xiaojin Zhu. NAACL 2006 Tutorial: Inductive Semi-supervised Learning with Applicability to NLP, A. Sarkar and G. Haffari. * DMLA 2008-06-17 小町守 （自分の博士論文に関係のある）半教師あり学習についての紹介 長所と短所のサーベイ 半教師あり学習使ってみようという人を増やす * 半教師あり学習（Semi-supervised learning） ラベルありデータとラベルなしデータの両方を利用した学習法全般 ラベルありデータ: 正解が付与されているデータ ラベルなしデータ: 正解が付与されていないデータ 種類 クラスタリング、分類、回帰、ランキング、… * 固有表現抽出タスク 大規模データ シード NE 大規模データ 大規模データ 新しい NE シード パターン * 新しい NE 新しい NE 新たなパターン獲得 語義曖昧性解消タスク * 大規模データ シード 用例 大規模データ 大規模データ 分類器 新たな用例獲得 ラベルありデータとラベルなしデータが存在 ラベルなしデータを使って性能向上したい （前提） ラベルなしデータは大量に獲得可能 ラベルありデータは作成にコストがかかる 人手でつけるのは面倒 専門知識が必要 アノテーションツールが使いにくい（などなど……） * 前提 インスタンスがたくさんあるところに分離平面を引きたくない * * Gaussian Mixture のパラメータは EM で求めることができる クラスのラベルは正解付きデータから推定 前提: データのよい生成モデルがある 分類器に基づく手法 初期分類器から始め、反復的に分類器を洗練 Self-training/co-training データに基づく手法 データに備わっている構造を発見し、分類器を構築する際に用いる グラフベースの手法 * 仮定 分類器の出した確信度の高い予測結果は正しい アルゴリズム ラベルありデータから分類器を教師あり学習 ラベルなしデータのラベルを予測 ラベルなしデータと予測結果（擬似的な正解ラベル）をラベルありデータに追加 繰り返し * Yarowsky 1995 語義曖昧性解消（インスタンスは語義） * One sense per discourse の制約により新しいパターン獲得 ラベルなしデータのラベルを予測 予測ラベルを正解と見なしてラベルありデータに追加 閾値以上の確信度の予測結果のみを追加 確信度の上位k個の予測結果のみを追加 重み付きで全ての予測結果を追加 ラベルありデータ+予測ラベル付きラベルなしデータで分類器を教師あり学習 * * * パターン抽出とインスタンス獲得を交互に繰り返して少量のシードインスタンスを反復的に増やす インスタンス パターン コーパス MacBook Air アップルMacBook Air注文 アップル#注文 アップルiPod touch注文 アップルMacBook Pro注文 iPod touch MacBook Pro #:インスタンス が入るスロット 特長 複雑な仮定が不要 ラッパーとして用いることができる 既存の分類器との親和性が高い NLP で実際よく使われている 問題点 真の分布に基づく分類器の実現は困難 初期に間違えると間違いが増幅される 収束条件がよく分からない * 高次元スパース空間（素性の数が膨大で、訓練事例にはほとんど現れない場合）には不向き NLP では典型的には高次元スパース空間 本質的な性能の向上は見込め