基于文法规则匹配自然语言处理系统研究与实现.docVIP

基于文法规则匹配自然语言处理系统研究与实现 　　摘要：对对话管理系统中的自然语言理解技术进行了研究，提出了基于文法规则匹配的自然语言处理方法，给出了采用该方法实现的自然语言处理系统的结构模型。对自然语言信息通过文法规则自动机解析为参数信息的过程做了介绍，并给出了规则应用举例。 　　关键词：自然语言处理；分词处理；参数标注；文法规则匹配；参数提取 　　中图分类号：TP391文献标识码：A文章编号：1009-3044(2009)04-0833-02 　　Research and Implementation of Natural Language Processing System Based on Grammar Rule Matching 　　DING Jie 　　(College of Computer Science and Technology, Beijing University of Technology, Beijing 100124, China) 　　Abstract: The essay research on the natural language understanding technolgoy in dialogue management system and propose a natural language processing method based on grammar rule matching. This method provide a structural model for the natural language processing system. Also, the essay introduces the process where natural language information is interpreted as parameter information through grammar rule automation while some practices are presented on the rule. 　　Key words: Natural Language Processing; Segmentation; Parameter Tagging; Grammar Rule Matching; Parameter Extracting 　　1 引言 　　随着社会信息化程度的不断提高，人与计算机系统之间的交互也变得越来越频繁。在不断地交互过程中，人们通常希望将自然语言作为人与计算机的主要沟通方式，这就使基于自然语言信息查询的对话系统成为了当前对话管理系统的研究热点。自然语言处理方法是对话管理系统的一个重要组成部分，从计算机的信息处理过程上看，其主要内容是建立一种计算模型，使计算机可以从自然语言信息中提取出决定机器理解的关键要素[1]。计算机通过识别这些关键信息，采取一定的策略控制，就可以引导人机交互的顺利进行。 　　基于文法规则匹配的自然语言处理方法，通过文法产生式将大量适用于相同人机交互过程的句子集抽象成规则，并在其中加入对关键信息的标注，使系统可以直接通过规则集生成的有穷状态自动机将语言信息转化为参数序列，引导至对应的信息处理方法中，从而提高了自然语言信息的识别效率，也体现了规则集的易扩展性。 　　2 系统模型的建立 　　基于文法规则匹配的自然语言处理系统的主要任务是将自然语言信息解析为机器可以理解的参数信息，其功能主要靠分词处理、参数标注和文法规则匹配三个模块来实现，系统结构模型如图1所示。 　　3 系统实现 　　3.1 分词处理（Segmentation） 　　分词处理是通过分词算法将句子划分为词序列的过程。在英文文本中，空格是单词之间的自然分界符，无需对句子的词边界进行确认。而中文在句子构成上没有一种明显的词边界符，所以对于中文来讲，确定词的划分是理解自然语言的第一步。 　　3.1.1 预处理 　　预处理的主要任务是对源文本进行标记与拆分，以提高分词速度和准确率。 　　1) 预分词：在源文本中，经常会出现一些不易被分词算法正确切分的混合信息，比如浮点数、IP地址、电子邮件地址、时间和日期等。这些信息可能是影响计算机理解的重要参数，应提前进行处理，以防被分词算法错误切分。本系统通过使用正则表达式对源文本进行匹配，将符合条件的词或子句标记为参数，分词算法不用对已标记的文本进行切分。 　　2) 分句：在中文文本中，汉语词是不包含符号的。将具有断句功能的标点符号作为分句依据，对源文本进行句子拆分，可以减少每次分词处理的信息量，提高分词速度。考虑到一些特殊参数（如IP地址）包含着影响分句的标点符号，应该将预