JUMANKNPを用いた形态素解析构文解析实习.ppt

JUMAN/KNPを用いた形態素解析?構文解析 － 実習 － 黒橋禎夫 河原大輔 柴田知秀 東京大学 目次 インストール確認 環境設定 JUMAN/KNPを使ってみよう JUMAN/KNPの辞書/ルールの説明（?カスタマイズ） 休憩 Perl超入門 JUMAN/KNPとPerlを用いたいろいろな頻度統計の取り方 配布パッケージの内容 C:\juman-knpInstall juman-5.1.exe, knp-2.0.exe, Perl関連 src （Perlスクリプト） cut.pl, grep.pl, phrase.pl, sort.pl, uniq.pl text （サンプルテキスト） 料理：cook_small.txt, cook_middle.txt, cook_large.txt Web：web_small.txt, web_middle.txt, web_large.txt small: 1,000文, middle: 5,000文, large: 20,000文 1.インストール確認 配布パッケージ C:\juman-knpJUMAN C:\Program Files\juman KNP C:\Program Files\knp Perl（ActivePerl） Perlモジュール JUMAN/KNPの実行環境について 開発環境のLinuxでは： 入出力の文字コード：EUC 辞書、ルールの文字コード：EUC 本日の実習はWindows 入出力の文字コード：SJIS 辞書、ルールの文字コード：EUC 来週リリースするバージョン Linux: すべてEUC Windows: すべてSJIS 2.環境設定 PATHの設定 マイコンピュータを右クリックしてプロパティを選ぶ 2.環境設定 PATHの設定 詳細設定のタブを選ぶ 2.環境設定 PATHの設定 環境変数を押す 2.環境設定 PATHの設定 Pathをクリックして「編集」をクリック 2.環境設定 PATHの設定 Pathをクリックして「編集」をクリック 変数値の末尾に下記の文字列を追加する（元の文字列を消さないよう、まず右矢印を押す） 3.1 JUMANを使ってみよう コマンド プロンプトを開く スタート?すべてのプログラム?アクセサリ?コマンド プロンプト 3.1 JUMANを使ってみよう コマンド プロンプトを開く 3.1 JUMANを使ってみよう jumanと打つ 3.1 JUMANを使ってみよう 環境設定ができていない場合 3.1 JUMANを使ってみよう 「夏休みも明日で最後です。」と入力 3.1 JUMANを使ってみよう 「夏休みも明日で最後です。」と入力 3.1 JUMANを使ってみよう コントロールZ リターン で終了 3.1 JUMANを使ってみよう 今度はjuman –B –e2 3.2 KNPを使ってみよう juman –B –e2 | knp と打つ 3.2 KNPを使ってみよう juman –B –e2 | knp –tab と打つ knp –tab フォーマット ファイルから入力する場合 cd c:\juman-knptext juman –B –e2 cook_small.txt cook_small.jmn knp –tab cook_small.jmn cook_small.knp コスト最小法 辞書?文法 ContentW.dic（形態素辞書） ??? (名詞 (普通名詞 ((読み からくさ)(見出し語 唐草 (から草 1.6) (からくさ 1.6))(意味情報 代表表記:唐草)))) (名詞 (普通名詞 ((読み からくち)(見出し語 辛口 (から口 1.6) (からくち 1.6))(意味情報 代表表記:辛口)))) (副詞 ((読み からくも)(見出し語 辛くも からくも)(意味情報 代表表記:辛くも))) (名詞 (普通名詞 ((読み からくり)(見出し語 からくり)(意味情報 代表表記:からくり)))) (動詞 ((読み からす)(見出し語 枯らす からす)(活用型 子音動詞サ行)(意味情報 代表表記:枯らす))) (名詞 (普通名詞 ((読み からす)(見出し語 烏 カラス (からす 1.6))(意味情報 代表表記:烏)))) (名詞 (普通名詞 ((読み からだ)(見出し語 身体 体 (からだ 1.6))(意味情報 代表表記:身体)))) (名詞 (普通名詞 ((読み からだつき)(見出し語 体付き 体付 体つき (からだつき 1.6))(意味情報 代表表記:体付き)))) (名詞 (普通名詞 ((読み からっかぜ)(見出