PowerPointプレゼンテーション -rdl.itc.u-t.pptVIP

* * * にはにはにわがある に (に) にる 動詞 母音動詞 基本連用形 は (は) は 副助詞 に (に) にる 動詞 母音動詞 基本連用形 はにわ (はにわ) はにわ 普通名詞 が (が) が 格助詞 ある (ある) ある 動詞 子音動詞ラ行 基本形 EOS 東京大学全学自由ゼミ言語を情報する 東京 (とうきょう) 東京 地名 大学 (だいがく) 大学 普通名詞 全学 (ぜんがく) 全学 普通名詞 自由 (じゆう) 自由 普通名詞 ゼミ (ゼミ) ゼミ カタカナ 言語 (げんご) 言語 普通名詞 を (を) を 格助詞 情報 (じょうほう) 情報 普通名詞 する (する) する 動詞 サ変動詞 基本形 EOS * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 東京大学　情報基盤センター （情報理工学系研究科　数理情報学専攻、 学際情報学府　兼担） 中川裕志 nakagawa@dl.itc.u-tokyo.ac.jp http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/ 言語と情報 このゼミでは 前半：古典的方法 ここではきものを脱ぐ　（形態素解析） 黒い目の大きな女の子（構文解析、意味論） 痛い？　vs 痛い　（語用論） 後半：現代的システム 大規模テキスト（コーパス） 言語か数学か　（統計的自然言語処理） 言語?情報　（情報抽出） テキストからテキストへの変換　その１（自動要約） テキストからテキストへの変換　その２（機械翻訳の進展） 現実的なご利益（情報検索） 形態素解析入門 「ここではきものをぬぐこと」 参考文献 岩波講座　言語の科学　全１１巻 形態素解析は第３巻、構文解析は第８巻、談話、対話は第７巻、文法と意味は第４巻、音声は第２巻、情報処理は第９巻 東大出版会　言語と計算 談話、対話は第３巻、統計的言語処理は第４巻、情報検索は第５巻 「ここで　はきもの　を　脱ぐこと」か 　「ここでは、着物　を脱ぐこと」か 「にわにはにわがある」 「庭には庭がある」か 　　「庭に埴輪がある」か 単語の切れ目を見つける?形態素解析 形態素とは、文字より大きく、しかしそれ以上分割できない言語単位 ここではきものをぬぐこと 単語が認識できないと、文の意味を組み立てられない。 わざわざ仮名で書くから難しいのでは、 最初から「ここで履物を脱ぐこと」なら簡単？ ワープロの日本語入力は仮名漢字変換 音声認識結果は音の列?仮名の列 　　　　? 漢字やカタカナ交じりの文字列ではない。 なぜ形態素解析か 英語の場合、最初から単語は空白で区切られている。（ただし、音声認識の場合は日本語と同じ問題） 屈折型言語　　apples ? apple studied ? study 屈折した表現から原形と品詞を求める。(stemming) 日本語は単語の切れ目が表面的には分からない。 膠着型言語　　単語に分割することが必要。そして品詞も求める。 日本語と英語 日本語の形態素解析 日本語形態素解析で用いられるヒューリスティックな方法 最長一致法 　　先頭から辞書において一致する最長の単語を当てはめる。 　　全国都道府県議会議長席?　 全国　都道府県議　会議　長　席　 分割数最小法 　　辞書を調べて、すべての可能分割を求め、その中で最小分割数のものを選ぶ。 　　全国都道府県議会議長席?　全国　都道府県　議会　議長　席 字種切り法（もともと仮名、カナ、漢字、などで書かれた場合） 　　字種の変化点を単語の境界とみなす。 　　カラフルな電子メール ? カラフル な 電子 メール　 文法情報に基づく形態素解析の枠組み にわにはにわがある 辞書： にわ＝名詞：庭、二羽 はにわ＝名詞：埴輪 に＝助詞 は＝