汉语一体化的句法分析模型的研究-计算机应用技术专业论文.docxVIP

国防科学技术大学研究生院学位论文摘要 国防科学技术大学研究生院学位论文 摘要 随着计算机的发展和互联网的普及应用，信息的流量急剧增加，这给计算机信息加 工和处理带来了机遇与挑战，如何通过机器快速而高效的处理文本是自然语言理解研究 者们追求的目标。本文研究了自然语言理解中各个阶段的歧义，提出了一体化的句法分 析模型，该模型的特点是：在尽可能消除当前阶段歧义的前提下，保留不能消解韵歧义 至下一阶段，通过进一步的信息消除歧义，同时采用语义约束机制降低句法层歧义分析 的复杂度；提高系统的整体效率。 歧本问题是自然语言理解的根本问题，本文对自然语言理解各阶段面临的歧义和歧 义的处理方法作了深入探讨。在比较了当前流行的几种一体化方法的基础上，着眼于提 高句法分析系统的歧义处理能力，我们提出了一体化的句法分析模型，该模型遵循两个 基本原则：一，尽可能容余当前分析阶段不能消除的歧义留待后阶段处理，二，尽可能 用本阶段知识消除可以消除的歧义降低后阶段分析的复杂度。 汉语分词是自然语言理解的第一步，分词算法的优劣直接影响后阶段的分析效果。 在本文第三章，我们定义了句子覆盖率和分词覆盖率两个概念，提出基于有向图的双向 匹配算法，并阐述了该算法处理歧义的可行性。算法的最大特点是通过产生多候选的分 词序列使分词阶段不能处理的歧义得到保留。通过与经典机械分词算法和全切分算法相 比较，该算法以低复杂度得到了高覆盖率。 第四章阐述词性标注歧义的处理。由于经典Viterbi算法导致标注歧义被忽略，因此 我们对该算法作出改进，设计了标注与句法分析的概率传递策略。该策略能实现词性标 注和句法分析的并行处理。通过向上传递标注概率，一方面达到保留标注歧义的目的， 另一方面也为句法阶段的消歧提供更多的上下文信息。我们通过一个实例说明了这种方 法的有效性。 各阶段歧义的保留势必加重句法分析的负担。第五章讲述语义约束机制如何整合至 一体化句法分析模型，该机制实现了词义标注和词义匹配规则。改进后～体化模型增加 了对文本进行深层处理的能力，句法分析效率也获得了提高。 本文的最后对一体化句法分析模型进行了总结，指出了该模型存在的不足，并对以 后的工作提出了展望。 关键词：一体化的句法分析模型，双向匹配分词算法，隐马尔科夫模型，Viterbi算法， 基于概率的广义LR分析方法 国防科学技术大学研究生院学位论文Abstract 国防科学技术大学研究生院学位论文 Abstract As the development of computer and apIplication of internet，the large quantity of text cannot be processed in handwork．The goal of national language understanding(NLU)is to process the text in fast speed and hi曲quality．In this paper,based on researching the ambiguities in each step in NLU．an integrated parsmg model is put forward．ne nature of this model is transferring the ambiguities which can not be processed in current steps to the next step under the condition that disambiguation as possible here，and a semantic strategy is designed to decrease the complexity of syntactic analysis． The disambiguation is the principal task of the NLU．This paper researches various ambiguities in NLU and relative approaches．Comparing with the several integrated approaches．we put forward to a new integrated parsing model．The principles of the model are transferring the ambiguities which can not be processed in current step to the next step and disambiguation as possible in c