素性の組み合わせを実現するpowersetkernelとその高速化-chasen.org.pptVIP

系列パターンマイニングを用いた有効な素性の組み合わせの発見 奈良先端科学技術大学院大学 情報科学研究科 工藤　拓 松本 裕治 背景 SVM をはじめとする　Kernel Method のめざましい進展 自然言語処理も例外ではない テキストチャンキング 固有名詞抽出 構文解析 Kernel Method は万能なのか? Kernel Method の問題点 有効な素性の分析が困難 素性空間が陰に表現される 有効な素性（事例の部分構造）は我々の知らない一種の知識 (マイニング) 分類の計算量が大きい Kernel Method に基づくチャンカーや構文解析器は大規模テキストデータの解析に不向き ケーススタディ（日本語係り受け) SVM に基づく日本語係り受け解析システム「南瓜」 2000年 Perl + C++ プロトタイプ 2-3秒/文 2001年　春 C++ で再実装 0.4秒/文 2001年　夏 データ構造の工夫 0.3秒/文 新聞記事数年分を解析するのに　数週間 ちなみに.. 形態素解析 0.0001秒/文 SVMの分類アルゴリズムを改良しない限り、これ以上の高速化は無理 本発表の流れ Kernel Method Power Set Kernel Power Set Kernel の高速化手法 PSKB　(ベースライン) PSKI (提案手法　1) PSKE (提案手法　2) 日本語係り受けタスクにおける実験 考察、今後の課題 本発表の流れ Kernel Method Power Set Kernel Power Set Kernel の高速化手法 PSKB　(ベースライン) PSKI (提案手法　1) PSKE (提案手法　2) 日本語係り受けタスクにおける実験 考察、今後の課題 Kernel Method Kernel Method の問題点 本発表の流れ Kernel Method Power Set Kernel Power Set Kernel の高速化手法 PSKB　（ベースライン) PSKI (提案手法　1) PSKE (提案手法　2) 日本語係り受けタスクにおける実験 考察、今後の課題 Power Set 集合のすべての部分集合の集まりをべき集合(Power Set)とよぶ 集合 X の　Power Set を P(X)と記す (Special) Power Set Kernel 集合の内積を与える Kernel X, Z は集合 X の要素数を　|X|と記す K(X, Z) = | P(X) ∩ P(Z) |＝2 Power Set Kernel (PSK) PSK の周辺定理 X,Zを任意の集合, を正の整数とするとき, 　　　　　　　　　　　　は PSK となる X,Zを任意の集合,　 を n階微分可能でかつ となる関数とするとき, 　 はPSKとなる すべての　PSK K(X,Z) は, |X∩Z|の多項式で表現できる Cr が事前に分かる場合, PSK を設計できる 多項式Kernel RBF Kernel 本発表の流れ Kernel Method Power Set Kernel Power Set Kernel の高速化手法 PSKB　（ベースライン) PSKI (提案手法　1) PSKE (提案手法　2) 日本語係り受けタスクにおける実験 考察、今後の課題 Power Set Kernel の高速化 PSKB 通常の分類手法(ベースライン) PSKI (Inverted representation) 事例 の集合を転置した形で表現 PSKE (Expanded representation) 事例を Power Set の空間で分類 PSKB (ベースライン) PSKI (Inverted Representation) PSKE (Expanded Representation) (1/2) PSKE (Expanded Representation) (2/2) PSKEの実際 展開テーブル の作成 素性の d個の組み合わせを全展開するのは非常に困難 (係り受けの素性は 4万程度) [磯崎2002]は 2個の組み合わせだけに限定 |w|は, その部分集合の分類寄与度を与える. |w|の小さい部分集合は考えない(近似) データマイニングアルゴリズムの適用 展開テーブル の保持 そのままでは冗長なので TRIE を作成