B演习(言语处理系演习)第一回.pptVIP

* B演習(言語処理系演習)第4回 田浦 構文解析器 “fib” n n 2 … def if 構文木 def fib ( n ): if n 2: return 1 else: return … 字句列(token stream) 構文解析器 全体像 データ型定義 各構文の種類(変数, 演算式, def, for, etc.)ごとに, その種類の構文木の定義 (typedef struct …) 式すべて, 文すべてを表す構文木の定義 コンストラクタ 各種類の構文木を作る関数 構文解析器本体 各構文の種類ごとに, 字句解析器から字句の列を受け取り, その構文木を作る関数 構文木の定義(文の例) typedef struct stmt_while { /* while文 */ … } stmt_while, * stmt_while_t;typedef struct stmt_for { /* for文 */  … } stmt_for, * stmt_for_t;typedef struct stmt_fundef { /* def文 */  … } stmt_fundef, * stmt_fundef_t;… typedef struct stmt { /* 文全体 */  stmt_kind_t k; /* 種類 */ union { … } } stmt, * stmt_t; while文の例 typedef struct stmt_while { /* while文 */ expr_t e; /* 条件部分 */ stmt_vec_t body; /* 繰り返し本体 */} stmt_while, * stmt_while_t このように, 個々の構文の種類に対し, その構成要素(while文であれば条件式と本体)をフィールドに持つような構造体を作る 文法定義を眺めれば, 個々の構造体がどのようなフィールドを持たねばならないかがわかる コンストラクタ 個々の構文の種類ごとに, その種類の構文木を作るような関数を作る stmt_t mk_stmt_while(expr_t e, stmt_t s, …) { … }stmt_t mk_stmt_for(char * x, expr_t e, stmt_t s, …) {  … } 注: …のところには, ソースコード上の位置情報など, 必要な情報を適宜追加することだろう 構文解析器の作成 以上の「準備」ができていると仮定して, 実際の構文解析(字句の列から構文木を作る)処理について考える 文法定義の読み方(1)単純な連結 例 (while文):while_stmt ::= while expression : suite 読み方: while_stmt (とみなされる字句の列)とは， “while” (というただひとつの字句からなる列) expression (とみなされる字句の列), “:” (というただひとつの字句からなる列) suite (とみなされる字句の列) をこの順に並べたものである 文法定義の読み方(2)複数選択肢 例 (文全体)statement ::= expression_stmt NEWLINE  | assignment_stmt NEWLINE  | … | while_stmt  | for_stmt  | funcdef statement (とみなされる字句の列)とは, assignment_stmt とみなされる字句の列とNEWLINEというただひとつの字句からなる列をこの順で連結したもの, または, …, または funcdefとみなされる字句の列, のいずれかである 構文解析器の仕組み概要(1) LL(1)文法用再帰下向き構文解析法 文法記号Aに対し，関数 parse_A(tokenizer_t t, …)を定義 渡されたtから生成されるいくつかの字句列がA(とみなされる字句列)であれば，そこまで字句列を読み込んで，Aを表す構造体を作って返す さもなければエラー(行番号など)を表示して終了(exit) 構文解析器の仕組み概要(2) … A? t tの現在の字句(tok_cur_token_XXX(t)) parse_A(t, …)開始時 … t tの現在の字句(tok_cur_token_XXX(t)) parse_A(t, …)終了時 各記号ごとの構文解析器の導出 文法規則から(機械的に)導く 基本アイデア A -