词法分析器生成器_lex_中文手册剖析.pdfVIP

Lex - 词法分析器生成器 M. E. Lesk 与 E. Schmidt Bell Laboratories Murray Hill, New Jersey 07974 译者声明：译者对译文不做任何担保，译者对译文不拥有任何权利并且不负担任何责任和义务。 原文：/7thEdMan/vol2/lex 摘要 Lex 帮助书写其控制流由在输入流中的正则表达式的实例来导向的程序。它适合于编辑器脚本类型的变 换，和为解析例程做准备工作而分解输入。 Lex 源码是正则表达式和相应的程序片段的表格。Lex 把这个表格变换成读取输入流、复制它到输出流、 并把输入划分到匹配给定表达式的字符串中的一个程序。随着每个这种字符串被识别出来，相应的程序片 段就被执行。表达式通过用 Lex 生成的确定有限自动机来识别。用户书写的程序片段按照对应的正则表 达式在输入流中出现的次序来执行。 用 Lex 写成的词法分析程序接受有歧义的规定，并在每个输入点上选择最长的匹配可能。如果需要，在 输入上进行实质的超前查看(lookahead)，但输入流会被回退(backup)到当前划分的结束处，所以用户有 操纵它的普遍自由。 Lex 可以生成用 C 语言或 Ratfor 语言写的分析器，Ratfor 可以自动的转换成可移植的 Fortran 。它 可以在 PDP-11 UNIX、 Honeywell GCOS 和 IBM OS 系统上得到。本手册只讨论在 UNIX 系统上 的生成 C 语言的分析器，这是在 UNIX 第 7 版中唯一支持的 Lex 形式。设计 Lex 时简化了与编译器 的编译系统 Yacc 的交接。 July 21, 1975 目录 1. 介绍 2. Lex 源码 3. Lex 正则表达式 4. Lex 动作 5. 歧义源规则 6. Lex 源定义 7. 用法 8. Lex 与 Yacc 9. 例子 10. 左上下文敏感 11. 字符集 12. 源格式总结 13. 告诫和缺陷 14. 致谢 15. 引用 1. 介绍 Lex 是设计用于字符输入流的词法处理的一个程序生成器。它接受高级的、面向问题的对字符串匹配的规 定，并生成识别正则表达式的通用语言写的一个程序。正则表达式在用户给 Lex 的源规定中指定。Lex 写 出的代码识别在输入流中的这些表达式，并把输入流划分到匹配这些表达式的字符串中。在字符串间的分 界上执行用户提供的程序片段。Lex 源文件对正则表达式关联上程序片段。随着每个表达式出现在给 Lex 写出的程序的输入中，相应的程序片段就被执行。 用户提供超出表达式所需要的额外代码来完成他的任务，可能包括用其他生成器写出的代码。生成的识别 表达式的程序采用用户的程序片段所采用的通用编程语言。因此，提供了高级表达式语言来写要被匹配的 字符串表达式，而用户写动作的自由不受侵犯。这避免了强制希望使用字符串操纵语言做输入分析的用户、 去使用同样的并且经常不适合字符串处理的语言来书写处理程序。 Lex 不是完整的语言，而是体现了可增加到叫做“宿主语言”的不同编程语言中的新语言特征的一个生成 器。正如同通用语言可以生成在不同计算机硬件上运行的代码，Lex 可以写出不同宿主语言的代码。宿主 语言被用于 Lex 生成的输出代码和用户增加的程序片段。还为不同的宿主语言提供兼容的运行时间库。 这使 Lex 适应不同的环境和不同的用户。每个应用都可以被定向到适合这个任务的硬件和宿主语言、用 户背景和本地实现性质的各种组合上。目前唯一支持的宿主语言是 C，尽管过去曾经支持过 Fortran(Ratfor [2]形式)。Lex 自身存在于 UNIX、GCOS 和 OS/370 ；但 Lex 生成的代码可以采用 于存在适当的编译器的任何地方。 Lex 把用户的表达式和动作(在本文中叫做源码)转换成宿主通用语言；生成的程序叫做 yylex 。yylex 程 序将识别在流(在本文中叫做输入)中的表达式，并在检测到的时候执行给每个表达式的动作。参见图 1 。 ++ 源码 - | Lex | - yylex