大规模ー.pptVIP

デモ http://ash.naist.jp/~mamoru-k/chaime/ N-best 探索（前向きDP後ろ向きA*サーチ）が書けなかったのでビームサーチ（ビーム幅200） 未知語に対する洗練されたモデルが必要 3グラム以上は使っていない（言語モデルが巨大、1-2グラムだけですでに1.7GB） 生成モデルでは単語履歴などの素性を追加していくのが困難 関連ソフトウェア（１） Anthy http://anthy.sourceforge.jp/ HMM → MEMM による識別モデル（の亜種） 文節分割された読みつきコーパスから学習 表記の素性を用いていない 文法体系が難しい（文節?品詞の判断） Social IME / 複数人による辞書共有機能 アルゴリズムは Anthy と同じ 関連ソフトウェア（２） AjaxIME / MeCab-skkserv による連文節仮名漢字変換 読みが振られたコーパスから変換コストを推定 コーパスが小さい?素性がスパース Sumibi / 単語分かち書きによる仮名漢字変換 生コーパスから連接コストを推定（言語モデル） 辞書にない単語の変換ができない 連文節変換ではない 謝辞と宣伝 本プロジェクトの一部は奈良先端科学技術大学院大学 Creative and International Competitiveness Project (CICP 2007) の支援を受けています 他のCICPプロジェクト（音楽情報?言語教育）を含めたポスターデモがスプリングセミナー2日目（3月7日）にあります。学生は人気投票に参加できませんが、セミナー受講者と教員は投票できるらしいですよ * * ChaIME: 大規模コーパスを用いた統計的仮名漢字変換 奈良先端大 松本研（ D1 ）小町守 （協力:京都大学 森さん?Y! Japan 徳永さん） Special Thanks to 浅原さん?工藤さん 2008年2月27日（水） CICP中間報告 * 開発の動機 Webの拡大→ユーザ入力文書増大 新語や新表現の変換はストレスフル 新しくなって本当に使いづらい???前に戻してもらいたいです。慣れれなのかな? どぅゃら?風邪をひぃてしまぃました? 頭重ぃし?鼻水が???????… でも仕事休めなぃし? ????だるぃし? もぅ嫌???!!! ねぇよ こどもやばす ｗｗｗｗｗｗｗｗｗｗ 天丼ｗｗ おいおい かあいいｗｗ ちょｗｗ... * 開発の背景 Web データを処理したいがタグつきデータ?辞書がない（特にフリーで使えるもの） 祝 NAIST-jdic リリース Google日本語Nグラム 辞書やコーパスに正しく情報（品詞?単語境界）振るのは（一般の人には）難しい （できるだけ）品詞情報を用いないで処理したい NLPにおける文節とIMEにおける文節の違い * 開発の目的 大規模コーパスによる統計的仮名漢字変換 できるだけ人手をかけないでメンテナンス Google 日本語 N グラム Webコーパス5億文 Wikipedia?etc… 品詞情報を用いない頑健な仮名漢字変換 大規模コーパスだから表記の情報だけでもけっこう行けるはず * 統計的仮名漢字変換 森ら（1998）の提案 P(x|y) の降順に変換可能文字列 (x1, x2, …) を提示する x: 文, y: 入力 　＝P(y|x)P(x)の降順に提示する P(y|x): 確率的仮名漢字モデル P(x): 確率的言語モデル（単語ngram） 仮名漢字モデル 言語モデル × * 言語モデル 文を単語列　　　　　　　　　　と見なすngram言語モデル（i1は文頭、i=h+1は文末） Google 日本語Nグラムデータ（200億文）から表記の1-2グラムを計算して使用 異なり1グラム数:250万 異なり2グラム数:8,000万 * 仮名漢字モデル 確率は読みが振られたコーパスから最尤推定 毎日新聞95年分1年に MeCab で分かち書き?読みを付与して使用 コーパス 中の頻度 * 確率的言語モデル＋未知語 文を単語列（w1w2…wh）と見なして文頭から予測（wi（i1）は文頭、wh+1は文末記号） 未知語は特殊記号UWで表され、単語n-gramがUWを予測し、文字列xを文字n-gramにより予測 今年 の 流行 語 CKY …… wi 今年 の 流行 語 CKY …… UW C K Y xi * サブワードモデル＋未知語 ある単語w=x1x2…xmに対応する入力記号列を各文字xiの入力記号列yiの連接、各文字に対応する入力記号列が一様として計算 未知語処理は準登録語を用いたコーパスからの最尤推定との線形補完 準登録語 サブワード * 森ら（200