基于条件随机场顿号边界识别.docVIP

基于条件随机场顿号边界识别 　　摘要：标点符号的边界识别是自然语言处理的重要研究内容，它是分词、语块识别等应用的基础。为了实现中文中用于表示并列成分分割的顿号的边界识别，采用了用于序列分割和标记的条件随机场（CRF）方法进行顿号边界识别。首先对顿号边界识别任务进行了两种类型的描述，然后对顿号语料的标注方法和过程以及特征选择进行了研究，通过采用语料推荐和十折交叉验证两种数据集分配方法分别进行了边界识别实验。实验结果表明，通过条件随机场方法结合选择的边界识别特征能够进行顿号边界识别，其顿号边界识别的F值在基准实验的基础上提高了10.57%，由顿号分隔的词语识别其F值可达85.24%。 　　关键词：条件随机场；顿号；边界识别；特征选择 　　中图分类号： TP301 　　文献标志码：A 　　Abstract： The boundary identification of punctuation marks is an important research field of natural language processing. It is the basis of the application of word segmentation and phrase chunking. In order to solve the problem that the boundary identification of Chinese slightpause marks which split the coordinate words and phrases in Chinese， the Conditional Random Field （CRF） that used for sequence segmentation and labeling was adopted for slightpause marks boundary identification. At first， the slightpuase marks boundary recognition task was described in two types， and then the slightpuase marks corpus tagging method and process and feature selection were studied. According to the methods of corpus recommendation and tenfold cross validation， a series of experiments were carried out in slightpause marks. The experimental result shows that the proposed method plays an effective role in slightpause marks boundary identification with selected boundary identification features. And Fmeasure of boundary identification increased by 10.57% on baseline as well as the Fmeasure of words divided by slightpause marks achieves 85.24%. 　　Key words： Conditional Random Field （CRF）； slightpause mark； boundary identification； feature selection 　　0引言 　　句子是文本的基本组成单元，也是理解文本和计算语言学处理的基本单位。很多语言现象，诸如搭配、短语、结构等均离不开句子而存在[1]。这些短语、结构的边界识别或检测也成为理解句子和文本的重要研究内容。在中文的句子处理中，无论是分词、组块分析还是信息抽取都离不开边界识别的研究，相关研究近年来已取得了大量的研究成果[2-3]，但这些研究主要集中在基于字、词或者短语进行，而针对标点符号的边界识别目前还缺少相关的研究。 　　标点符号不管是在汉语还是在英语的书面语中都起着几乎不可替代的作用，且一种标点往往有不同的句法或句群篇章功能，本文主要针对中文的标点符号进行研究。目前，中文标点符号在中文信息处理中的研究已有部分研究成果，例如：通过逗号分类方法来判断逗号是否是句子的边界[4]，通过中文逗号消歧来实现篇章分析[5]等；还有一些是基于中文逗号的研究和利用分析树来实现句法分析[6]