中文信息学报语料库中熟语的标记问题①.PDF

中　文 　信 　息 　学 　报 第 18 卷 第 1 期 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol 18 No1 文章编号 :1003 - 0077 (2004) 0 1 - 0020 - 06 语料库中熟语的标记问题① 安 　娜 ,刘海涛 ,侯 　敏 (北京广播学院 应用语言学系 ,北京 　100024) 摘要 :熟语是自然语言中普遍存在的语言现象 。本文分析了国内现有语料库对熟语的标注方式 ,发现这 种方式对语料库的进一步加工是有问题的。为了在语料库标注阶段把熟语问题处理好 ,本文从信息处理的角 度将熟语中的成语 、惯用语 、歇后语 、习用语 、专门语以及缩略语归为固定语的范畴 ,进而提出根据固定语的语 法功能给定词性标记 ,再根据它们的词汇特征给定词汇范畴标记的双层标记法 ,这样在一定程度上解决了熟 语的语料库标注问题 。 关键词 :人工智能 ; 自然语言处理 ;熟语 ; 固定语 ;标注 ;语料库 中图分类号 : TP39 1 　　　文献标识码 :A Tagging of the Idiom in the Corpus AN Na , L IU Haitao , HOU Min (Applied Linguistics Depart ment , Beijing Broadcasting Institute ,Beijing 100024 ,China) Abstract : Idiomaticity is a common p henomenon in natural languages. This p ap er analyses some known means of tagging t he idiom in Chinese corpus. These tagging met hods are problematic for t he furt her syntactic tagging and p arsing of corpus. To find a suitable solution for application in natural language processing , t he aut hors introduce a new concept “fixed expression ”, which consist of idioms , customary usages , twop art allegorical sayings , terms and abbreviations. These fixed expressions have t he same grammatical function as common words , t hus we can tag t hem according to t heir function in text and give suitable vocabulary category of fixed expressions. This is called twolevel tagging met hod . The proposed solution is useful to build a p arsed corpus as knowledge source of NL P. Key words : artificial intelligence ; natural language processing ; idiom ; fixed expression ;tagging of corpus ; p arsed corpus 1 　引言 在建设传媒语言语料库的过程中,我们根据对语料库加工的通行做法 ,先对原始语料作词 性标注 。词性标注之后 ,当我们开始进行句法层次的加工时 ,发现 目前的熟语标记存在一定的 问题 。我们在对生语料做词性标注时 ,