用语抽出 中川研究室 东京大学.pptVIP

東京大学　情報基盤センター （情報理工学系研究科、情報学府　兼担） 中川裕志 内容概略 情報抽出には抽出すべき情報の複雑さによっていろいろな方法が研究されている。 ここでは、最も基礎になる抽出の単位として用語（＝コーパスにおける重要語）の抽出方法を説明する。 用語とは　 term(用語、専門用語、術語） terminology（学術用語、術語） コーパスからの用語抽出 用語、連語 統計的用語、コロケーション抽出 構造と統計による抽出法 用語生成 目的と抽出元のコーパス 機械翻訳用辞書 新聞、ジャンル別コーパス 情報検索用キーワード抽出 検索対象の文献DB 文書の索引語抽出 索引を作るべき本 ある学問、技術分野の用語抽出 その分野のコーパス 用語の定義付け 定義 用語 term: 分野の概念を表す単語ないし複合語 専門語彙 terminology: 分野の語彙。すなわちtermの集合 一般の語彙と専門用語の差 現われる文書に偏りあり 使用する人々（一般人 vs 専門家） 用語の意味が一意的（円滑なコミュニケーションのため） ある分野(domain)における概念を表わす語彙 歩留まり、横持ち、玉がけ、頭繋ぎ、腹くくり？？？ 専門文書、コーパスにおける出現の仕方により定義付ける termhood vs unithood unithood(単位性)：複合語や連語（collocation)　においてsyntagmatic（語順、構文構造、意味的関係などのこと） な関係が安定して用いられている度合い termhood(用語性):複合語や連語が、領域あるいは対象分野固有の概念と関連する度合い 分野の文書集合（コーパス）を形態素解析し品詞タグをつける 用語にふさわしい単語の連続を品詞タグなどを参考にして抽出。これを用語候補とする。 用語候補に用語らしさを反映するスコアをつける。 スコア順に並んだ候補から適当なものを用語として抽出（例えば、決められた数を選ぶ、など） 抽出したいものが単語であるので文字N-gramは向かないが、単語抽出が難しい中国語やドイツ語では使わざるをえない。 日本語なら形態素解析して単語分割 各単語に品詞タグを付ける （専門）用語らしい品詞列（途中に特定の単語を含んでよい）を定め、それに一致する単語列を用語候補とする。 どのような品詞列を選ぶべきか？ さらに、専門用語としてはどのような品詞列、あるいは語構成があるのか？ 用語の文法的構造 日本語の場合 名詞＋、　例：情報システム、井戸型ポテンシャル、チョムスキー階層 名詞＋「の」名詞＋　、例：言語の分析 形容詞　名詞＋、　例：大域的（な）制御 数詞　名詞、例：　3型言語　 形容詞とは　イ形容詞：大きい 　　　　　　　　　ナ形容詞：絶対的 用語の文法的構造 英語の場合 ?以下で | は or, A+　はAの1回以上の繰り返し,AはA ?の0 or 1回 名詞＋、　例：　computer network 名詞＋“of”名詞＋　、例： lack of stimulus 名詞　前置詞　名詞、例： 形容詞　名詞＋、　例： global data, balancing act 数詞　名詞＋ 、例： first order logic　　 まとめると ((形容詞|名詞)* |(形容詞|名詞)*(名詞句) ?)(形容詞|名詞) *)名詞 用語の文法的構造 フランス語の場合 名詞“de”名詞、　例： assemblage de paquet, reseau de satellites まとめると、 名詞　形容詞,　名詞　名詞,　名詞 de 名詞?　名詞　前置詞　名詞 　 単名詞の用語らしさ(termhood)の定量的尺度 dj: document set of domain, D={d1,…,dj,..dn(D)} wj: word appeared in D, WD={w1,…,wi,..} wij: word(wi) appeared in dj f(wij)= dj中のwiの出現頻度 g(wij)= 1 when wi is in dj, 0 when wi is not in dj 文書での出現頻度に基づく２つの尺度: average word freq in dj =  ある単語 i が文書 j に特別な現れ方をするかどうか Similar idea: tf×idf 以上の２つは、ある文書ｄjだけで特徴的に多く出現するwijを優先する考え方 用語性の計算法まとめ 以上の方法はいずれも termhood を測ろうとしたもの。まとめると、 ある文書に頻出する単語が用語 限定された文書にだけ出現する単語が用