浅层句法分析方法概述..docVIP

? ? 浅层句法分析方法概述 ? 孙宏林 俞士汶 ? 一、引言 ? 浅层句法分析(shallow parsing)，也叫部分句法分析(partial parsing)或语块分析(chunk parsing)，是近年来自然语言处理领域出现的一种新的语言处理策略。它是与完全句法分析相对的，完全句法分析要求通过一系列分析过程，最终得到句子的完整的句法树。而浅层句法分析则不要求得到完全的句法分析树，它只要求识别其中的某些结构相对简单的成分，如非递归的名词短语、动词短语等。这些识别出来的结构通常被称作语块(chunk)，语块和短语这两个概念通常可以换用。 浅层句法分析的结果并不是一棵完整的句法树，但各个语块是完整句法树的一个子图(subgraph)，只要加上语块之间的依附关系(attachment)，就可以构成完整的句法树。所以浅层句法分析将句法分析分解为两个子任务：（1）语块的识别和分析；（2）语块之间的依附关系分析。浅层句法分析的主要任务是语块的识别和分析。这样就使句法分析的任务在某种程度上得到简化，同时也利于句法分析技术在大规模真实文本处理系统中迅速得到利用。 90年代以来，国外在英语的浅层句法方面做了不少工作，国内也有一些学者采用英语中的方法探索汉语的浅层句法分析。本文主要就在英语浅层句法分析中所应用的一些技术进行简要的介绍，并简单介绍汉语的有关研究。其中有些方法虽然是面向完全句法分析的，但由于其对完全句法分析的任务进行了分解，所以其技术也可以归入浅层分析的范畴。概括起来，句法分析的方法基本上可以分成两类：基于统计的方法和基于规则的方法。当然也可以采用规则和统计相结合的混合方法。下面第2节介绍基于统计的方法，第3节介绍基于规则的方法，第4节简要介绍汉语的有关研究，最后是结束语。 ? 二、基于统计的方法 ? 随着语料库技术的发展，近10年来许多统计方法被用在短语识别和分析方面。这些方法的理论主要来自概率统计和信息论。以下将介绍其中具有代表性的几种方法：（1）基于隐马尔科夫模型的方法；（2）互信息方法；（3）(2统计方法；（4）基于中心词依存概率的方法。 2.1 基于隐马尔科夫模型(HMM)的方法 隐马尔科夫模型(Hidden Markov Models,HMMs)是从语音识别中发展出来的一种统计技术(Rabiner,1989)，它提供了一种基于训练数据提供的概率自动构造识别系统的技术。一个隐马尔科夫模型包含两层：一个可观察层和一个隐藏层，这个隐藏层是一个马尔科夫过程，即是一个有限状态机，其中每个状态转移都带有转移概率。在语音识别中，可观察层是声音片段的序列，隐藏层是用音素序列表示的词的发音的有限状态模型。用口语录音片段及其转写(transcription)作为训练数据训练HMM，它就可以用作识别器，用于识别未训练过的声音片段，从而生成口语的转写形式。 计算语言学家最早把HMM技术应用于英语的词性标注并取得了极大的成功，仅依靠简单的统计方法就可以达到95%左右的正确率。在词性标注中，可观察层是词的序列，隐藏层是词类标记的序列，训练数据是标注好词性的文本语料，经过训练的HMM就成为自动标注器，它可以给只包含词序列的文本中的每个词标注上词类标记。 Church(1988)进一步把HMM用于识别英语中简单的非递归的名词短语，他把短语边界识别化为一个在词类标记对之间插入NP的左边界（[)和NP的右边界(])的问题。如果不考虑空短语（即[]）和短语的嵌套（如[[,]],][[等），那么在一对词类标记之间只有四种情况：(1) [ ；(2) ] ；(3) ][；(4) 空（即无NP边界）。进一步可以把最后一种分为两种情况：(a)无NP边界但在NP之内（I）；(b)无NP边界但在NP之外（O）。这样任意一对词类标记之间就只存在5种可能的状态： (1) [ ；(2) ] ；(3) ][；(4) I；(5) O。Church的方法是：首先，在标注词性的语料中人工或半自动标注NP边界，以此作为训练数据，然后统计出任意一对词类标记之间出现以上5种状态的概率。统计得到的概率就成为短语边界标注的根据。这实际上把短语边界的识别变成了一个与词性标注类似的问题。如： 输入： $ the procecutor said in closing that （词序列） DT NN VB IN NN CS （词性序列） 输出： $,DT DT,NN NN,VB VB,IN IN,NN NN,CS （词性标记对） | | | | |