部分木基确率场言语解析适用.pptVIP

部分木に基づくマルコフ確率場と言語解析への適用 工藤 拓 松本裕治 奈良先端科学技術大学院大学 統計的言語解析 (背景) History-based Methods (HM) 言語処理 (品詞タグ付け, 構文解析) を 分類問題の順次適用として実現 History-based Methods の問題点 履歴に依存 いったん間違えると, 伝播 ラベルバイアス問題 [Lafferty 01] 最適な構築順序とは? 品詞タグ付け (前向き/後ろ向き) 構文解析 (トップダウン/ボトムアップ/左隅/右隅) 一意に決定困難 (タスク依存, 入力文依存) 発見的に対処 前向き, 後ろ向きの多数決 [Kudo 01] Global discriminative models 解析結果 1 つを学習事例とみなす 解析木そのものが正しいか正しくないか学習 構築順序という概念は存在しない 順序に関係せず, 唯一の確率値 P(Y|X)を算出 Global discriminative models の論点 負例の構築方法 HM の N-best 解で近似 陰に構築 (動的計画法) 学習アルゴリズム側で動的に生成 学習方法 MRF (線形対数モデル/最大エントロピー) Boosting SVM 素性 人手で発見的に定義 Tree Kernel 概要 手法 負例の構築方法 (N-best 解) 学習方法 (MRF) 素性 (全部分木候補から素性選択) 実験 考察, 従来研究との比較 まとめと今後の課題 1. 手法 負例の構築方法 学習方法 素性 負例の構築方法 History-based Methods の N-best 解 確からしい順に N 個結果を得る Viterbi + A* ビーム探索 N-best 解に正解が存在すると仮定 入力木 X に対する N-best 解の集合を 　H(X) と表記 学習方法 (1/2) マルコフ確率場 　　　　　　　　　　　　　　　　(a.k.a. 線形対数モデル / 最大エントロピーモデル) 学習方法 (2/2) パラメータの導出 最尤推定 (最大エントロピー原理) 正規分布による正則化 (過学習の抑制) [Chen99] 素性関数 の設計 (1/3) 解析木の 構造 を考慮したい 解析木 Y 中の 部分木 を素性 各部分木にパラメータ　　　が対応 素性関数 の設計 (2/3) 素性関数 の設計 (3/3) 素性選択 (1/2) 素性集合 F は 巨大 全部分木を使用→ 過学習, 学習困難 素性選択 頻度: ξ回以上出現する部分木のみ 部分木のサイズ: サイズが L 以上 M以下 クラスと素性の相関性: カイ二乗値が χ以上 1,2,3 を全て満たす部分木のみを使う 素性選択 (2/2) クラスと素性の統計的な相関性 「良い」部分木 t : 正例/負例に偏って出現する t chi(t) がχ以上の部分木 t を素性 実装 頻出部分木マイニングの適用 木の集合から頻出する部分木を効率よく列挙するアルゴリズム 最右拡張 (木の枚挙手法) FREQT [Asai02], TreeMinerV [Zaki02] 最右拡張を用いた高速な解析 ～O(|Y|) リランキングのコストは問題になりにくい 2. 実験 設定 英語品詞タグ付け PTB 15 – 18: 学習, 20: テスト, 21: dev HM: 最大エントロピー法に基づく Tagger, N=20 ☆ 英語基本句同定 PTB 15 – 18: 学習, 20: テスト, 交差検定: dev HM: 最大エントロピー法に基づく Chunker , N=20 ☆ 解析木 Y の表現方法 実験結果 (品詞付与) 実験結果 (基本句同定) 考察 両タスクとも、従来手法に比べ高性能 恣意的な素性選択ではなく, 一般的, 統一的な選択 素性選択パラメータ: Σ=ξ,L,M,χ L = 2 に固定したときの最適な M 品詞タグ付け: M=4 基本句同定: M=5 大きな部分木は過学習の原因 関連研究との比較 まとめ 部分木を素性とする MRF の提案 統計的相関性に基づく素性選択 頻出部分木マイニングアルゴリズムの適用 一般的な手法, タスク非依存 英語品詞タグ付け 英語基本句同定 従来手法に比べ高精度 今後の課題 他のタスク 係り受け解析, 構文解析 グラフ構造への拡張 (部分グラフ) 頻出部分グラフマイニングアルゴリズム 負例の構築 N-best に変わる新しい手法 マルコ