汉语组块的定义和获取.PDFVIP

汉语组块的定义和获取 李素建 刘群 北京大学计算语言学研究所 100871 Email: lisujian@ 摘要：组块是介于词语和句子之间的一种语言结构，目前还没有明确的定义。本文总结了当前对组块的各 种研究，对汉语组块进行了定义。同时组块的获取和收集也是一项迫切的任务，由于不易直接获取到具有 组块标注的语料，我们从现有树库中抽取组块。本文根据汉语特点提出了 12 种汉语组块类型，并根据这 些组块类型和宾州大学中文树库短语类型的对应关系进行转化获得组块库。 关键词：组块，组块语料库，树库，语法分析 Research on Definition and Acquisition of Chunk Li Sujian, Liu Qun Institute of Computational Linguistics, Peking University, Peking, China, 100871 Email: lisujian@ Abstract: Chunk is a kind of linguistic structure between word and sentence, which isn’t defined definitely now. This paper summarizes various current researches on chunks, and defines what is a Chinese chunk. At the same time, the acquisition and collection of chunks are a hard but urgent work. Due to the difficulty of acquiring chunked corpus, we adopt the method of converting from Treebank available. According to the characteristics of Chinese, 12 Chinese chunk categories are proposed. Then our chunked corpus is obtained by extracting from Upenn Chinese Treebank. Keywords: Chunk, Chunked corpus, Treebank, Syntactic parsing 1 引言 当前 Internet 的发展促进了信息的交流，文本的获取和收集变得相对容易。然而构建大 规模标注语料库的任务却依然严峻，这是因为标注标准的不一致性，同时需要耗费大量的 人力和物力。目前经过词性标注加工的英文、中文语料库已经具有一定规模，对于更高层 次上的语言加工，Upenn 英文树库是一个大规模的句法标注语料库，汉语方面的成果包括： [2] 3 [1] [ ] 清华大学的汉语测试树库 ，美国宾州大学的中文树库 ，和东北大学的中文语义树库 。 随着部分分析技术的发展和应用范围的不断扩大，粒度处于词和句之间的组块标注语料的 开发也越来越受到重视。CoNLL-2000[4]会议提供了从 Upenn 英文树库中抽取出来的英文组 块库；虽然清华大学提出了一套语块标注体系，构建了 200 万字的汉语语块库。但汉语组 块的定义及组块库的构建，仍然需要做进一步的研究。 第 2 节详细介绍了相关的组块研究工作，并据此给出了本文的组块定义；第 3 节详细 说明了所定义的组块类型及相应类型组块的获取；第 4 节对全文进行了小结。 2. 组块的研究 人们一直都是对词或整句进行研究。组块是较