词法分析器项目功能拆分与实现心得.pdfVIP

本项目中的难点其实是理解整个词法分析器是如何运行的，以及如何将整个分析器的功

能拆分成各个基础的函数调用。

首先是整个分析器的运行过程：程序将所有代码读入内存后以字符串进行并对其进

行处理。每确定一个token则返回一个token结构体，包含其token类型，所在行数，起始

位置和token长度。

处理时，将程序划分成不同类型。分别为空字符，标识符，数字，运算符，字符串，字

符和错误类型。扫描到不同类型的头字符时则进入对应类型的处理方法。每次处理完一个类

型，都将指针指向新token的开头并返回当前token类型。

剩下的就是实现不同类型的处理方法。思想都是将符合类型内的字符扫描到start

指针和current指针内，然后进行匹配，返回对应token结构。