基于规则的汉语句法分析方法研究1.PDFVIP

基于规则的汉语句法分析方法研究1 王鹏，戴新宇，陈家骏，王启祥 （南京大学计算机科学与技术系 南京大学计算机软件新技术国家重点实验室 南京 210093） 摘要：本文从汉语的句法结构特点出发对基于规则的汉语句法分析方法进行讨论，从中总结 出这类方法的一般特征，提出实用化的基于规则的汉语句法分析器必须引入其它辅助分析手 段才能提高性能和可靠性。 关键词：句法分析，上下文无关文法，汉语，语料库，知识库 中图分类号：TP391.2 Researches on Rule-based Chinese Parsing Techniques WANG Peng, DAI Xin-yu, CHEN Jia-jun, WANG Qi-xiang （Department of Computer Science and Technology ,Nanjing University, State Key Laboratory for Novel Software Technology at Nanjing University Nanjing 210093) Abstract: In this paper, we discuss the Rule-based Chinese Syntactic Parsing techniques based on the characteristics of Chinese sentence structure. The common features of these techniques are summarized. Based on the analysis of these techniques, we put forward the viewpoint that in order to improve the performance and reliability of the practical Rule-based Chinese Syntactic analyzer, other auxiliary analytic measures must be introduced. Key Words：syntactic parsing，context-free grammar，Chinese，corpus，knowledge base 一、引言 句法分析在自然语言处理领域中具有十分重要的地位，同时它也是公认的一个研究难 题。以传统的基于转换规则的机器翻译系统为例，前端的句法分析结果的好坏直接影响到后 续处理的正确性。汉语作为自然语言的一种，具有自然语言所共有的最本质的东西，因此汉 语句法分析有必要借鉴和吸收成熟的语言学理论。同时，由于汉语的特殊性，决定了汉语句 法分析不可能照搬现成的方法，必须从汉语自身特点出发，以先进的语言学理论为指导，研 究和开发适合汉语的句法分析技术。 目前国内很多有代表性的汉外机译系统的汉语句法分析模块都是通过改进已有的经典 句法分析算法设计的，不少已在实践中取得了很好的效果。在这中间，传统的基于规则的方 法又占了主导地位。这是因为基于规则的方法从汉语句子最本质的特征出发，例如构词法、 词组构造法、造句法等，从宏观上总结出句法规则。无论汉语的句式结构多么自由，其中蕴 涵的最基本的规则是相对稳定的。规则易于表达汉语句子成分的构成规律。其次，经过长时 间的发展和不断改进，这类方法已较为成熟，应用在一些实用化的系统中有较高的效率。 进入 20 世纪 90 年代以来，基于语料库的统计方法获得了较快的发展，但是单独用它作 为汉语句法分析的例子却不多见，统计方法不依赖汉语语言学理论，仅仅依靠从语料库中统 计得到的数据进行分析，本质上是一种经验主义方法。统计方法在处理汉语词的切分歧义、 兼类词消解、句法结构排歧等方面有较强的优势，可以为基于规则的句法分析过程提供有用 的统计数据，从而提高系统的健壮性和适应性，两者有着融合的趋势。 本文首先阐述汉语句法结构的特点及其对句法分析造成的困难。接着，通过分析一些基