基于知识的多语言词法分析器研究.pdfVIP

基于知识的多语言词法分析器 程盛远 杨一平 中国科学院自动化研究所互联网研究发展中心，北京100080 {csy，YYP)@irdc．ia．ac．cn 摘要屈折型语言具有一些共同的词法现象：一般的词法分析器将规则写在程序中，改变 规则需要修改程序代码，且是针对一种特定语言的。本文利用专家系统的技术，将词法分析 知识分成数据、知识库和控制三部分，实现了知识内容与程序的分离．使得可以随时更新词 法分析的规则和不规则性知识而无需更改程序；在此基础上简要介绍了我们开发的一种词法 分析器，实现了规则可变；同其它方法相比，这种分析方法将能够以很小的代价发展成德语、 法语等同一语系的词法分析器。 关键词诃法分析；词法分析器；多语言 Lexical Knowledge—BasedMultilingualAnalyzer and Yiping