现代汉语语料库基本加工规格说明书-中文语言资源联盟.docVIP

北京大学现代汉语语料库基本加工规范 俞士汶 段慧明 朱学锋 孙斌 (北京大学计算机系，北京大学计算语言学研究所 北京 100871) 摘要：北京大学计算语言学研究所已经完成了一个有2700万汉字的现代汉语语料库的基本加工。加工项目除词语切分和词性标注外，还包括专有名词（人名、地名、团体机构名称等）标注、语素子类标注以及动词、形容词的特殊用法标注。这项大规模语言工程的顺利完成得益于事先制订并不断完善的规范。发表《北京大学现代汉语语料库基本加工规范》是为了抛砖引玉，更广泛地向专家、同行征询意见，以便进一步修订。 关键词：现代汉语；语料库；词语切分；词性标注；规范 中图分类号：TP391 The Basic Processing of Contemporary Chinese Corpus at Peking University SPECIFICATION YU Shi-wen DUAN Hui-ming ZHU Xue-feng Bing SWEN (Institute of Computational Linguistics, Peking University, Beijing, 100871) Abstract: The Institute of Computational Linguistics, Peking University has completed the basic processing of a contemporary Chinese corpus that has 27 million Chinese Characters. In addition to word segmentation and part-of-speech tagging, the processing involves the tagging of proper nouns (person names, place names, organization names and so on), morpheme subcategories and the special usages of verbs and adjectives. The success of this large-scale language engineering is attributed to the SPECIFICATION, which had been made beforehand and was being perfected while in use. We are hereby making an introduction to the SPECIFICATION through this publication, thus inviting the comments from all the experts and our colleagues for the improvement of it. Keywords: contemporary Chinese; corpus; word segmentation; part-of-speech tagging; specification ⒈ 前言 关于汉语语料库的全面情况，冯志伟教授的文章已有详细介绍[1]。本文只介绍北京大学计算语言学研究所的工作（以下简称计算语言所）。计算语言所从1992年开始汉语语料库的多级加工研究，历时已有10年，也积累了一些成果[2,3,4]。最令人瞩目的成果是《人民日报》标注语料库。该语料库包含《人民日报》1998年全年2600多万字的语料，对全部语料已完成词语切分和词性标注等基本加工。全部加工结果均已通过合作单位Fujitsu的严格验收。由于1个月的200多万字的加工语料早已在网上公布，可免费下载[5],半年的1300万字的加 _______________________________________________________________________________ 收稿日期：2002-2-20（2002年5月21日修订） 基金项目：国家自然基973项目G1998030507-4、863项目2001AA114040、北大985 作者信息：俞士汶，男，1938年12月生，教授；段慧明，1957年12月生，女，高工；朱学锋，1937年12月生，女，副教授；孙斌，1968年10月生，博士后；4人的主要研究方向：计算语言学 工语料也开始向业界提供，这项成果的影响正逐步扩大。计算语言所另外还有100多万字语料不仅完成了基本加工，还加注了汉语拼音。 这项庞大的语言工程之所以能顺利展开并按计划取得成果，因素当然很多