基于标点符号分割的汉语句法分析算法.PDF

第 2 1 卷 　第 2 期 中文信息学报 Vol . 2 1 , No . 2 2007 年 3 月 J OU RN AL O F C H IN ESE IN FO RMA T ION PROCESSIN G Mar . , 2007 文章编号 : (2007) 基于标点符号分割的汉语句法分析算法 毛 奇 ,连乐新 , 周文翠, 袁春风 (南京大学 计算机软件新技术国家重点实验室 ,江苏 南京 2 10093) 摘 　要 : 目前大部分句法解析器都忽略标点符号这一重要的句法特征或者只进行非常简单的处理 。本文根据标点 符号的句法结构特性 ,提出单独解析块的概念 ,并且根据标点符号在句子中的特有特征和位置关系 ,给出了基于决 ( ) ( ) 策树算法 Id3 单独解析块识别方法 ,将标点融入汉语句法分析中。本文所用的实验数据 包括训练集和测试集 均来自中文宾州树库 5 . 0 。对句长大于 40 个词的汉语长句单独进行了实验 ,句法分析精度和召回率分别提高 1. 59 %和 0 . 93 % ,同时时间开销降低了近 2/ 3 。实验结果表明 ,标点对汉语长句句法分析非常有利 , 系统性能获得 了较大提高 。 ( ) 关键词 : 计算机应用 ; 中文信息处理 ;句法解析器 ;单独解析块 ;决策树 Id3 中图分类号 : TP39 1. 2 　　文献标识码 : A Chinese Syntactic Parsing Algorithm Based on Segmentation of Punctuation MAO Qi , L IAN L exin , ZHOU Wencui , YUAN Chunfeng ( St at e Key L aboratory for Novel Software Technolo gy , Nanj ing U niver sit y , Nanj ing , J iangsu , 2 10093 , China) Abstract : So far , mo st synt actic p ar ser s neglect t he p unct uation s or over simp lify t heir function s. However , it i s ac t ually very import ant information of synt actic charact er s. Accor ding to t he feat ures of p unct uation in t he synt actic st ruct ure , t hi s p ap er p ropo ses a kind of new concep t of sep arat e p ar sing p hra se , and accor ding to t he t ypical charac t er and t he po sition of p unct uation in a sent ence , t hi s p ap er al so p resent s one way to identify t he sep arat e p ar sing