编译原理课程教学中词法研究和其应用.docVIP

编译原理课程教学中词法研究和其应用 　　摘要：针对编译原理课程中的词法分析，介绍相关原理，重点探讨词法分析技术在非编译系统中的广泛应用。通过实际应用的分析，加深学生对理论知识的理解，提高学生对编译原理课程重要性的认识，调动学生的学习积极性和主动性。 关键词：编译原理；词法分析；实际应用 1.词法分析概述 词法分析是编译过程的第一个阶段，其主要任务是对构成源程序的字符流进行扫描和分解，把它识别为一个个具有独立意义的最小语法单位，即单词，从而产生一个个的单词序列，用于语法分析。执行词法分析的程序称为词法分析程序或扫描程序，它按构词规则识别单词，将作为字符串的源程序改造成为单词符号串。单词一般采用形如的二元组形式表示，其中单词类别是语法分析需要的信息，而单词自身值则是其他编译阶段需要的信息。编译程序是在单词的级别上来分析和翻译源程序的，因此词法分析是整个编译的基础。词法分析程序除了识别单词这个基本任务外，还可完成以下任务：对源程序进行处理，如组织源程序的输入、删除注释、空格及无用符号；行、列计数；列表打印源程序；发现并定位词法错误；建立、查填符号表。 词法分析程序与语法分析程序的接口方式有两种，如图1所示。（1）词法分析作为独立的一遍，将字符流的源程序变为单词序列输出到中间文件上，此中间文件作为语法分析的输入继续编译；（2）词法和语法分析在同一遍，即将词法分析作为语法分析的一部分，把词法分析程序设计为一个子程序，每当语法分析程序需要单词时，就调用该子程序。为了使整个编译程序的结构更简洁、清晰和条理化，便于使用自动构造工具，提高编译效率，以及增强编译程序的可移植性，通常采用第1种接口方式，即把词法分析从语法分析中独立出来。 程序设计语言的词法描述机制是正规表达式，识别机制是有穷自动机。词法分析程序可以通过手工编写和自动生成两种方式来构造：手工编写需要借助状态图来实现；而自动生成的原理是将正规式转换为有穷自动机，即首先将单词描述成正规式，然后把正规式转换为一个NFA（不确定有穷自动机），进而转换为相应的DFA（确定有穷自动机）。Lex（Lexical Analyzer）是美国Bell实验室研制的一个词法分析程序的自动生成工具，此后，GNU工程推出的Flex（Fast Lex）对Lex进行了扩充，使用它们可以很方便地构建词法分析程序。 2.词法分析的典型应用 词法分析技术在软件工程、信息安全、计算机测评、网络管理与协议解析、自然语言处理以及数据采集与处理等领域得到了广泛应用，见表1。 2.1软件工程 词法分析的主要任务是对构成源程序的字符流进行扫描，然后根据构词规则识别单词符号，这正是源代码逆向分析过程中必不可少的一步。因此，词法分析被广泛应用于软件逆向工程中的源代码逆向分析，以获得逆向分析后续工作所需的单词符号的各类信息。 利用词法分析可以实现B/S构架应用系统和三层构架应用系统中超文本链接的自动测试。超文本词法分析主要根据超文本的词法和关键词，分析查找超文本文件的链接类和应用类链接关键词，确定超文本的调用关系，完成各类链接分析（href、src、cite和background），并将分析结果存储到数据库中。测试时对设定的目录进行分析处理，列出根目录下的文件和目录结构，并对目录下的HTML文件进行词法分析，接着对分析后的链接标记进行分类、字符解析与转换等处理，然后进行链接的分析预验证，最后统计页面文件大小和生成不同的分析报告。基于超文本词法分析的超文本链接自动测试不仅可提高链接测试的覆盖率，而且可有效提高测试验证的效率和准确性，降低超文本链接的测试验证工作量。 2.2信息安全 C/C++语言中许多库函数存在安全漏洞，攻击者常常利用这些函数产生的漏洞来进行缓冲区溢出、格式化字符串溢出和竞争条件等攻击。源代码审核技术通过对软件代码进行分析，从特征数据库里抽取感兴趣的内容进行上下文分析，并对可能存在危险的代码位置进行报警，从而能在编码阶段及时发现和修正软件源代码中存在的安全漏洞。词法分析能够完成自动化的快速漏洞检测，是源代码审核中的一项重要技术，它通过对自定义的漏洞模型与根据待分析源程序确定的程序模型进行分析比较，验证程序模型是否满足漏洞模型的条件。其实质是访问包含在危险函数数据库中的函数（如gets、strcpy、scanf、printf、sprintf、snprinff等）来寻找可能存在的危险，当有潜在危险符合数据库特征时，就会发出警告。目前最具代表性的词法检测工具包括ITS4、Rats和FlawFinder等。 某些嵌入网页的病毒通过插入无效的字符即可得到病毒变种，利用Lex和Yacc等工具可以得到查杀此类病毒的有限自动机软件，即虚拟机。这种方式的查病毒虚拟机