中文版言选Web评価.pptVIP

中文版「言選Web」の評価 東京大学理学部　 　　　　前田 朗 東京大学経済学部 　　　　小島 浩之 東京大学情報基盤センター 中川 裕志 テーマと発表概要 テーマ 専門用語自動抽出システム「言選Web」の中文版のエンジンを人民日報タグつきコーパスで評価する。 発表概要 「言選Web」とは 人民日報タグつきコーパスと評価方法 評価データと考察 言選Web 「言選Web」処理結果例 横浜国立大学大学院 　環境情報研究院(22.00) 横浜国立大学大学院 　環境情報学府(18.82) 釜台住宅(15.73) 自然言語処理研究会(14.09) 環境情報1(13.82) 質問応答(13.68) 森辰則(11.70) 抽出(11.62) 日(8.00) 情報学基礎研究会(7.69) 知識発見(7.54) 概念抽出(7.00) 翻訳(6.93) 自然言語処理(6.62) … 「言選Web」中文?停止語方式版 「言選Web」中文ICTCLAS版 中文ICTCLAS版処理結果例 李铁映(20.78) 体育事业(19.28) 体育战战(13.82) 体育(9.49) 体育工作(8.11) 兴兴兴(7.94) 全国体委主任会议(4.73) … 中文ICTCLAS版処理結果例 李铁映(20.78) 体育事业(19.28) 体育战战(13.82) 体育(9.49) 体育工作(8.11) 兴兴兴(7.94) 全国体委主任会议(4.73) … ２つの重要な機能 Step 1 用語候補抽出 「言選Web」における用語候補抽出２方式 ストップワード方式 人手により用意したストップワードで文章分割 １～２字のストップワード選定が性能に影響 形態素解析器に依存しない カスタマイズが容易 ICTCLAS方式 形態素解析器の処理結果を利用 文法書を参考に用意したルールを使用 形態素解析器に依存 ストップワード方式 ICTCLAS方式 名詞に類する語(ng n nr ns nt nz nx vn an i j) *以後「名詞」 名詞,形容詞,助詞,後接成分,連詞（和,与）に結合。 複合語の先頭及び終端になる 形容詞(ag a) 形容詞,助詞,後接成分,連詞（和,与）に結合。 複合語の先頭になる 助詞(u), 後接成分(k) 名詞,形容詞に結合 連詞(c) 和,与の場合のみ。名詞に結合。 区別詞(b) 名詞, 助詞,連詞（和,与）に結合。複合語の先頭になる ICTCLAS方式２ ICTCLAS/nx 的/u 介绍/vn 及/c 说明/v 言選Webのエンジンで可能な用語候補重要度計算手法 FLR 単語FLR、文字FLR LR 単語LR、文字LR Frequency, TF TF*IDF LRとFLR 複合語は単名詞からなる (例 情報処理学会 → {情報, 処理, 学会}) 単語LR(FLR) 学会 中国語と文字LR(FLR) 文字LR(FLR) LRとFLRの計算式 用語Wを単名詞wi のリストW={ w1, ... , wn}とする L(wi) = 単名詞wiの左側連接回数＋１ R(wi) = 単名詞wiの右側連接回数＋１ 複合名詞W={ w1, ... , wn}の重要度LRは次式となる。 複合名詞W の出現頻度を F(W) とするとFLRは次式で 定義される。 FLR = F(W) × LR(W) TF(Term Frequency)とFrequency TF (Term Frequency) → 「情報」2回, 「情報システム」1回 Frequency → 「情報」1回, 「情報システム」1回 TF*IDF TF*IDFは次式で算出している ２．人民日報タグつきコーパスと「言選Web」評価手法 人民日報タグつきコーパス 評価方法概要 正解語（第1種正解語と第2種正解語） 機械学習による第1種正解語の用語候補抽出 評価尺度 人民日報タグつきコーパス 「言選Web」評価方法概要 第1種正解語 第1種正解語内訳 第2種正解語 個別の記事の内容を端的に示す語を中心に、 人手によりコーパスから選定 原則として複合名詞（句） 組織名、地名、人名は、記事のトピックとして差し支えない限りにおいて選定する。 選定したキーワードが文章中で、省略語や 同義語に言い換えられた語も選定する。 第2種正解語内訳 第2種正解語の「その他」とは 第1種正解語以外の地名、組織名 事件名（「ドーピング」など） 役職名 イベント名称 特殊な事物（インターネット用語など） 上記全ての別表現?省略表現 　　　　など 「言選Web」の用語候補抽出手法は第1種正解語に向かない 決定木による用語候補の抽出 第1種正解語（半月分）を教師データとす