文字列处理Perl,Java等.pptVIP

文字列処理：Perl, Java等 徃住研究室 D2　村井　源 講義の流れ テキストの階層構造 文字列と処理 正規表現 Perl, Javaでの正規表現処理 Chasenによる形態素解析 テキストの階層構造 文字： 例　あ,山,F　 文字列： 例　今日,なごむ,computer 命題： 例　狭い部屋、天気は晴れ 文： “。”で区切られる単位 文脈： 文の連続 文字列と単語 単語は文法上の意味的な区切り 名詞?動詞?形容詞?接続詞などの品詞で分解することを形態素解析などと呼ぶ 文字列は必ずしも単語でなくてよい ただし意味処理を行う場合には実際には単語や文節（単語の連続）レベルでの処理が行われることが多い　 文字列とは？ 基本的には文字が並んだデータ 具体的にどのような形式で文字列を情報として持っているかは様々に異なる 文字コードの違い（SJIS, EUC, Unicode…) データ形式の違い（Text, HTML, Word…) オブジェクト指向（JavaのStringなど） 文字列の処理 大量テキストデータを効率よく処理したい Ex. 東工大のwebから「認知科学」に関するテキストを全部集めたい テキストデータに複雑な処理を施したい Ex. 夏目漱石の全集から人の感情に関する形容詞だけを抜き出して使用頻度を調べたい 文字列処理の基本 検索 ある特定の条件に適合する文字列を探し出す 置換 ある特定の条件に適合する文字列を処理して別の特定の文字列に置き換える 通常の検索?置換 例えば： テキストから「図２－１」という文字列を探し出してそれを全部「図３－１」という文字列に置き換えたい 例えばWordだと 通常の検索?置換の問題 図２－１を図３－１に自動的に置き換える場合に、図２－１１や図２－１２などの意図した以外の箇所も同時に置き換えてしまう 逆に図２-１は置換されずに残る 検索?置換の条件を文字列そのものではなく、もっと自由に設定したい 正規表現（Regular Expression） 文字列の検索?置換に特化した表現形式 多少の方言はあるものの大体統一されている PERL, JAVA, Ruby, PHPなど様々なコンピュータ言語が対応している 正規表現の基本ルール A Aという文字 ABC ABCという文字列 A+ 1個以上連続したA(A, AA, AAA, ...) A* 0個以上連続したA( , A, AA, AAA, ...) . 1つの任意文字(A, B, C, ...) (\nを除く) ? 0または1つの任意文字( , A, B, C, ...) ^ABC ABCで始まっていたら ABC$ ABCで終わっていたら [ABC] A,B,Cのいずれか1文字 [A-Z] A～Zまでのいずれか1文字 [A-Za-z0-9] A～Z, a～z, 0-9までのいずれか1文字 [^ABC] A,B,C以外の文字 [^A-Z] A～Z以外の文字 A|B|C AまたはBまたはC とほほのWWW入門より引用 正規表現の例題として 「図２－１」が含まれるテキストを検索して「図３－１」に置換したい しかし、「図２－１２」などは外したい 逆に「図２-１」「図２?１」などの表記ミスは含めたい 例題の考え方 数字の全角と半角は両方入れたいので  →　[2２]と[1１] 「図２」のあとの記号は、－、-、?全部許可  →　[－\-?]（ 「-」のような正規表現上で特別な役割を与えられている記号は誤解されないために前に「\」をつけて「\-」 と表現する） 「図２－１」の後に数字が来るのは避けたい →　最後に[^0-9０-９]をつける 例題の答え 図[2２][－\-?][1１][^0-9０-９] 正規表現だけで大丈夫？ 正規表現は強力な文字列処理ツールだが基本的には一つの検索?置換だけの表現 条件分岐や繰り返し処理などが含まれる複雑な文字列処理を行うためにはこれらの正規表現を組み合わせて使う そこで正規表現を使えるプログラム言語が必要になってくる Perl ラリー?ウォールによって作られたインタプリタ方式のプログラミング言語 多様な表現が可能で他の言語に比べて、比較的習得が容易であるとされる。 強力な文字列演算機能 - 拡張された正規表現構文をサポート CGIやシステム管理、その他の簡単なプログラムを書くのに広く用いられている GPLライセンスでも提供されているので無料で利用可能 （Wikipediaより引用） Perlの入手とインストール Windows/Macの場合/からPerlを選択してActive Perlの最新版を入手