现代汉语语料库加规范——词语切分与词性标注.PDF

现代汉语语料库加工规范 ——词语切分与词性标注 1999 年 3月版 北京大学计算语言学研究所 1999年 3 月 14 日 ⒈ 前言 北大计算语言学研究所从 1992 年开始进行汉语语料库的多级加工研究。第一步是对原 始语料进行切分和词性标注。1994 年制订了 《现代汉语文本切分与词性标注规范Ｖ1.0》。 几年来已完成了约 60 万字语料的切分与标注，并在短语自动识别、树库构建等方向上进行 了探索。在积累了长期的实践经验之后，最近又进行了《人民日报》语料加工的实验。为了 保证大规模语料加工这一项重要的语言工程的顺利进行，北大计算语言学研究所于 1998 年 10月制订了《现代汉语文本切分与词性标注规范Ｖ2.0》（征求意见稿）。因这次加工的任务 超出词语切分与词性标注的范围，故将新版的规范改名为《现代汉语语料库加工规范》。 制订《现代汉语语料库加工规范》的基本思路如下： ⑴ ⑴ 词语的切分规范尽可能同中国国家标准 GB13715“信息处理用现代汉语分词 规范” （以下简称为“分词规范”）保持一致。由于现在词语切分与词性标注是结合起来进 行的，而且又有了一部《现代汉语语法信息词典》（以下有时简称“语法信息词典”或“语 法词典”）可作为词语切分与词性标注的基本参照，这就有必要对“分词规范”作必要的调 整和补充。 ⑵ ⑵ 小标记集。词性标注除了使用《现代汉语语法信息词典》中的 26 个词类标记 （名词 n、时间词 t、处所词 s、方位词 f、数词 m、量词 q、区别词 b、代词 r、动词 v、形 容词 a、状态词 z、副词 d、介词 p、连词 c、助词 u、语气词 y、叹词 e、拟声词 o、成语 i、 习用语 l、简称 j、前接成分 h、后接成分 k、语素 g、非语素字 x、标点符号 w）外，增加 了以下 3类标记：①专有名词的分类标记，即人名 nr，地名 ns，团体机关单位名称 nt，其 他专有名词 nz；②语素的子类标记，即名语素 Ng，动语素 Vg，形容语素 Ag，时语素 Tg， 副语素 Dg 等；③动词和形容词的子类标记，即名动词 vn（具有名词特性的动词），名形词 an（具有名词特性的形容词），副动词 vd（具有副词特性的动词），副形词 ad（具有副词特 性的形容词）。合计约 40个左右。 ⑶ ⑶ 规范的多元性。既要适应语言信息处理与语料库语言学研究的需要，又要能 为传统的语言研究提供充足的素材；既要适合计算机自动处理，又要便于人工校对。 ⑷ ⑷ 词组（短语）本位汉语语法体系的指导作用。汉语的词类与句法成分之间不 存在简单的一一对应关系。同一个句法成分可以由不同词性的词来充任；而具有确定词性的 同一个词又可以充当不同的句法成分，形式上可以没有任何不同的标记。《现代汉语语法信 息词典》是在词组本位语法体系的语法思想指导下研制的，其最基本的成果是对数以万计的 词语根据其在实际语料中的语法功能分布，特别是优势功能分布决定了它们的词性（即它们 所属的词类）。在进行词性标注时，应当充分利用《现代汉语语法信息词典》，承接这个基本 成果，避免仅根据词在所在的句子中充当的句子成分来决定其词性。同时考虑到语言学界对 汉语词类的划分存在不同意见，在标记集中增加了名动词 vn，名形词 an，副动词 vd，副形 词 ad。当然，增加这些标记并非只是缓冲不同意见，主要是为了给词的兼类研究提供计量 根据，也 为汉语词的概率语法属性描述作准备。 ⑸ 为了对新闻语料中大量存在的专有名词（地名、团体机构名称等）进行研究（从 命名规律到自动识别），在切分与标注的基础上对由若干个词组合而成的短语型专有名词加 上方括号和类型标记（主要是 nt，nz，还有少量的 ns）。 ⑹ 不是孤立使用本规范。在使用本规范对语料库进行加工时，将与《现代汉语语法 信息词典》等项研究成果密切配合。当现在的研究和将来的应用（中文信息检索、中文信息