自然言語処理によるテキスト分類.pptVIP

2005/12/20 情報特別演習 自然言語処理によるテキスト分類 情報学類 吉田光男 アドバイザー教官： 山本幹雄 先生 今日の流れ 今回の演習の目的 自然言語処理とは？ テキスト分類のよさ ベイズの定理 ナイーブベイズ サービスとして公開（デモ） 今回の演習の目的 自然言語に関する取り組み方を学ぶ 自然言語処理ってなに？ なにから手をつければいい？ サービスとして公開 発表だけしてもね… 自然言語処理とは？ 自然言語 = 自然発生的に生まれた言語 人工言語 = 人為的に作られた言語 基礎技術 形態素解析 構文解析 応用技術 かな漢字変換 検索エンジン テキスト分類 最近の流行 Web 2.0 人が頑張ってタグ付けしたのを共有 データを簡単に取り出せるように（Web API） XML を API に置き換えるだけで今風 Web 1.0 これまでのウェブ 文章を分野に分ける ニュースなど 分類することのよさ 追い風？首相も「真央が見たい」（デイリースポーツ 2005年12月20日） エンターテイメント（entertainment） スポーツ（sports） トリノ五輪聖火リレー、鉄道トンネル反対派が妨害 （読売新聞 2005年12月19日） 社会（national） 国際（world） テキスト分類 代表的なアルゴリズム 決定木 ナイーブベイズ k-最近隣法 最大エントロピー法 ブースティング サーポートベクタマシン ベイズの定理 P(A) 事象Aが発生する確率 P(A|B) 事象Bが既に発生している場合に、事象Aが発生する確率（条件付確率） P(B|A) 事象Aが発生した場合に、事象Bが発生していた確率 ベイズの定理 P(B|A) = P(A|B)P(B) / P(A) ナイーブベイズ（1/4） ベイズの定理より ベイズの定理 + 仮定 トークン（単語）が互いに独立である 例： アメリカはテロと戦います ナイーブベイズ（2/4） 仮定を付加する 実装する上での留意点 あるクラスで出現しなかったトークン 出現を推測 ナイーブベイズ（2/4） ナイーブベイズ（4/4） 今日は、情報特別演習の発表会です。 確率処理以外 文書ベクトルの生成 トークン（単語）の切り出し 形態素解析 2-gram（n-gram） 同種文字列の切り出し 例文 今日は、情報特別演習の発表会です。 iPod nano は、クリエイティブである。 実装 環境 Perl 素晴らしいプログラミング言語 MySQL トークンの管理 CEEK.JP NEWS テストデータ http://news.ceek.jp/ テスト結果 学習：各２０００記事 / 判定：各５００記事 テスト結果 サービスとして公開 Text Classification with CEEK.JP NEWS http://labs.ceek.jp/classify/ Hatena Bookmark News はてなブックマークをニュースのように分類 http://labs.ceek.jp/hbnews/ * * クラスc ○○ xn 情報 x2 特別 x3 今日 x1 P(x|c) P(x1|c) P(x2|c) P(x3|c) P(xn|c) 文書x 60% 15% 20% 5% 発表会 10% 25% 40% 25% 演習 10% 10% 40% 40% 特別 5% 20% 60% 15% 情報 20% 20% 50% 10% 今日 クラスD クラスC クラスB クラスA * * *