コーパス言語学入門 ufs.ac.jp.pptVIP

コーパス言語学入門 2007年度1学期 第2回 本日の内容 前回のおさらい コーパス言語学とは？ コーパスにはどんな種類があるか コーパス言語学とは？（前回のおさらい） コーパスとは？ 実際に使用されている言語を　言語データとして大量に収集したもの（≒電子化） 代表例：新聞記事，小説など →コーパスを眺めていると， 　　言語の特徴が見えてくる（はず） コーパス言語学とは？（前回のおさらい） コーパス言語学 言語学の一分野 コーパス（言語資源）＋コンピュータ（のパワー）を利用した言語分析全般 ポイント 電子化されたコーパス（機械可読）とコンピュータだからできる規模を生かす 検索，数え上げ，数値分析など この授業では コーパスにはどのような種類があるか コーパスは，どのように作るか 集めるかコーパスをどうやって使うか 　（ツールの話） コーパスを分析して出た結果を分析する技術，知識 といったことを学ぶ． コーパスの種類 コーパス： 実際に使用されている言葉を切り取って集める ということだが．．． コーパスの種類 コーパス： 実際に使用されている言葉を切り取って集める （普通に考えれば）全てを集めることは不可能 コーパスの種類 コーパス： 実際に使用されている言葉を切り取って集める （普通に考えれば）全てを集めることは不可能 　　　　　　　　　　　　↓　 　　どうやってテキストを選んで集めるか？ コーパスの種類 コーパス： 実際に使用されている言葉を切り取って集める （普通に考えれば）全てを集めることは不可能 　　　　　　　　　　　　↓　 　　どうやってテキストを選んで集めるか？ 　　＝どうやって良いコーパスを準備するか？ コーパスの種類 コーパス： 実際に使用されている言葉を切り取って集める （普通に考えれば）全てを集めることは不可能 　　　　　　　　　　　　↓　 　　どうやってテキストを選んで集めるか？ 　　＝どうやって良いコーパスを準備するか？ コーパスの種類 　どうやってテキストを選んで集めるか？ 　＝どうやって良いコーパスを準備するか？ 　　　　　　　　　　良い　とは？ 　　　　 コーパスの種類 　どうやってテキストを選んで集めるか？ 　＝どうやって良いコーパスを準備するか？ 　　　　　　　　　　良い　とは？ 　　　　　　　　　良い＝役に立つ 　　　　 コーパスの種類 　どうやってテキストを選んで集めるか？ 　＝どうやって良いコーパスを準備するか？ 　　　　　　　　　　良い　とは？ 　　　　　　　　　良い＝役に立つ 　　ただし，コーパスの利用目的によって 　　　　　　　　何が良いかは異なる 　　　　 コーパスの種類 　どうやってテキストを選んで集めるか？ 　＝どうやって良いコーパスを準備するか？ 　　　　ここで，　良い　とは？ 　　　　　　　　　良い＝役に立つ 　　ただし，コーパスの利用目的によって 　　　　　　　　何が良いかは異なる コーパスの特徴 コーパスの違いを区別する特徴5つ 規模 量の変化 汎用性 収集期間 掲載メディア コーパスの特徴－1．規模（1） 規模　：　どのくらいの量を集めるか？ 　．．．収集する量の違いによる分類　大，中，小 　最近は　大規模コーパスが多い 　　コンピュータの発達で，　 記憶容量↑ インターネットなどの普及で，　 流通量↑ コーパスの特徴－1．規模（2） 例でみる規模の差 Brown Corpus ... 米英語の書き言葉のコーパス 1961年に米で出版された本，新聞，雑誌など 15カテゴリー，計500テキスト 総語数　約100万語，平均約2000語／テキスト コーパスの特徴－1．規模（3） 例でみる規模の差 Brown Corpus ... 米英語の書き言葉のコーパス 1961年に米で出版された本，新聞，雑誌など 15カテゴリー，計500テキスト 総語数　約100万語，平均約2000語／テキスト →世界で最初の電子化コーパス 　　現代では，小規模コーパス コーパスの特徴－1．規模（4） 例でみる規模の差 LOB Corpus ... 英英語の書き言葉のコーパス 1961年に英で出版された本，新聞，雑誌など 15カテゴリー，計500テキスト 総語数　約100万語，平均約2000語／テキスト コーパスの特徴－1．規模（5） 例でみる規模の差 LOB Corpus ... 英英語の書き言葉のコーパス 1961年に英で出版された本，新聞，雑誌など 15カテゴリー，計500テキスト 総語数　約100万語，平均約2000語／テキスト →Brown Corpusのイギリス英語版 　　同じく現代では小規模