基于标点符号分割汉语句法分析算法.docVIP

基于标点符号分割汉语句法分析算法 　　(南京大学　计算机软件新技术国家重点实验室，江苏　南京　210093) 　　摘 要：目前大部分句法解析器都忽略标点符号这一重要的句法特征或者只进行非常简单的处理。本文根据标点符号的句法结构特性，提出单独解析块的概念，并且根据标点符号在句子中的特有特征和位置关系，给出了基于决策树算法(Id3)单独解析块识别方法，将标点融入汉语句法分析中。本文所用的实验数据(包括训练集和测试集)均来自中文宾州树库5.0。对句长大于40个词的汉语长句单独进行了实验，句法分析精度和召回率分别提高1.59％和0.93％，同时时间开销降低了近2／3。实验结果表明，标点对汉语长句句法分析非常有利，系统性能获得了较大提高。 　　关键词：计算机应用；中文信息处理；句法解析器；单独解析块；决策树(Id3) 　　中图分类号：TP391．2　文献标识码：A 　　 　　1 引言 　　 　　句法分析在自然语言处理研究中处于重要的地位，它是机器翻译、智能问答、内容抽取以及语义检索等方面的基础。目前，英语句法分析已经取得了相当好的成效，产生了一系列基于英语宾州树库的句法解析器[1～5]，标识精度和召回率均达到85％以上。由于语言上的差异，汉语句法解析却落后于英语，例如，文献[2]中给出了基于中文宾州树库的句法解析方法，获得了精确率(LP)为74.8％、召回率(LC)为69.0％的解析结果。上述文献中得到的结果基本上没有特别考虑标点符号在句法分析中的作用。文献[4]中把标点看成一个重要的特征，并且在解析器中考虑了修饰词和中心词之间是否有标点符号、标点符号的个数以及标点符号所处的位置关系等。文献[6]中提出了使用标点来处理汉语长句的层次解析方法，通过对标点进行分类，对特殊标点(如书名号)直接形成规则，以扩充规则库，利用分割类标点分割长句形成短语块，然后解析短语块，检测不适当的解析结果，最后分析解析结果之间的关系生成完整的句法树。文献[7]中把汉语中逗号分成两类：从句间逗号和从句内逗号，使用SVM进行识别，根据识别出的逗号类型对长句进行分割，然后再对分割后的短句进行句法解析。 　　句法解析器直接解析长句时，经常将长句中由标点分割的独立成分关联起来进行解析，从而导致解析错误，同时又付出了巨大的时空开销。为了更好地利用标点符号提供的句法特征信息进行句法消歧，同时减少解析长句的时间开销，根据文献[9]中对汉语标点符号进行的句法层次性的划分，分别找出可单独进行句法解析的短语块，将汉语的长句结构划分为相互不受影响的单独解析块，然后进行整合，形成一棵完整的句法树。与上述文献中所用的方法不同，本文使用标点符号对句子进行切分，得到按标点符号分割的自然短语块，对这些自然短语块进行分类，识别出这些短语块是否是独立的可单独解析块，并且对可单独解析块进行单独的解析，然后再与不可单独解析块进行整合，最终得到完整的解析树，实现句法解析的目的。 　　 　　2　基于LPCFG的汉语句法分析模型 　　 　　Collins和Charniak等人提出了词汇概率上下文无关文法LPCFG，扩充词汇信息，增加了词汇的同现因素。他们的实验结果表明，模型在概率的估计上增加词汇信息，能在一定程度上弥补PCFG的消歧能力的不足，使得句法分析取得比较好的效果[3]。 　　假设s表示需要句法分析的句子，T表示由句子s生成的句法树集合，t表示集合T中的一棵句法树。寻找最佳的句法树t就是从由句子s产生的句法树集合T中选择概率最大的句法树的过程，即 　　 　　其中，P(t，s)表示的是语言中句子s对应句法树t的概率，P(s)表示句子5的概率，P(f|s)表示给定句子s生成句法树t的概率，对同一个句子P(s)是常量，式(1)根据Bayes公式可得。 　　基于词汇概率上下文无关文法的规则形式如下： 　　 　　其中p，h，l和r表示规则(2)中对应的符号，w和t分别是词和POS标识，+TOP+表示的是隐藏根结点，known(w)是一个布尔数，如果训练集中词w的出现超过4次，则known(w)为true，否则为false。 　　整棵解析树的概率P(t|s)是由所有产生该树的规则对应上面的概率的乘积。 　　 　　3　单独解析块的定义 　　 　　当一个人读到一个句子的时候会把句子进行分块[8]。这种语言上的直觉是浅层句法分析中组块分析的基础。从句法的角度上分析，组块在句法树上具有独立的句法结构，也就是说，组块具有完整的句法子树结构，组块之间没有重叠。 　　本文提出的单独解析块结构类似于组块结构，也都是独立的句法结构，块之间不重叠，但是又不完全相同。单独解析块是由特定的标点符号分割指定句子生成的自然词序列。根据句法树中该词序列的结构特征，单独解析块分成可单独解析块和