现代汉语二字结构工程研究.pdf

现代汉语二字结构工程* 宋柔 戴伟长邱超捷 李飞 北京工业大学 计算机学院，北京 100044 rousong@pku.edu.cn 摘要 二字结构指的是 由两个汉字组成的词和词组。我们开展了现代汉语二字结构工程的研究和 实施，穷尽式地收集了现代汉语中的二字结构约25万条，并标注有关的特征信息，建立了二字 结构库，它可支持中文信息处理的多项应用。 关键词词 词组 二字结构 Vocabularyof,TwoCharacterStructureofModernChinese SongRou DaiWeichang QiuChaojie LiFei ComputerInstituteofBeijingPolytechnicUniversity AbstractTwo-characterstructureismeanttowordorphraseconstitutedbytwoChinese characters.Basedonourresearchresults,wedevelopedavocabularyofTwo-character structure,whichcansupportvariousapplicationsofChineseinformationprocessing. Keyword word phrase Two-characterstructure 1.二字结构工程的意义 二字结构指的是由两个汉字组成的词和词组。现代汉语二字结构工程指的是在预定的 范围内穷尽式地收集现代汉语中的二字结构，并标注有关的特征信息，建立二字结构库， 进而支持中文信息处理的各项应用。 建立现代汉语二字结构库对于中文信息处理有基础性的意义。 1.1.对于分词的意义 1.1.1.在分词单位界定的问题中避开二字词同二字词组界限不清的困难 汉语中的词没有形式标志，从而词与词组、分词单位与非分词单位的界限难以划分。 信《息处理用现代汉语分词规范》(GB13715)中的 “结合紧密、使用稳定”的原则不易操 作，一些已有的算法则缺乏理据。在二字词和二字词组的分界中这个问题尤为突出。若把 尽可能多的二字词组都作为分词单位，就可以大大缓解这个矛盾。 1.1.2.尽:1t减少分词后落单的不成词语素 汉语处理系统的基础性工作是分词。分词的目的是得到能独立活动的有意义的语言成 分，以便用词组规则来处理。因此，分词后不应该再有不成词语素单独存在。但是，现代 汉语，特别是现代汉语书面语，是文白相杂的。一些古汉语中的词，在现代汉语中不能完 .本文的工作得到国家自然科学基金、北京市自然科学基金和国家863计划的资助 191 全自由地独立活动，但也没有完全丧失独立活动的能力。比如 “民”一般被认为是不成词 语素，因为它不能单独用做主语，不能被 “的”字结构和数量词组修饰，出现最多的场合 是 “人民”、“民主”、“民族”等十分稳定的词。可是，它还能出现在 “为民”(为民除害)、 “扰民”、“刁民”、“贱民’，、“民怨’，、“民声”等不太稳定但数量不小的词组中。如果我们 穷尽式地收集了这些二字词组作为分词单位，分词结果中就基本上没有落单的 “民”了。 现代汉语中不成词语素而相对独立使用的另一种主要方式是做后缀成分，如 “看书 者”、“削皮器”、“租车费”中的 “者”、“器”、“费’，。据141对17万字科普类语料的统计， 非专名的未登录词中有 9%的具有 “单字+单字+单字”的结构模式，其中多数前 2个单字 是二字词组，第3个单字是后缀成分。若把二字词组事先收进词库中，则这些未登录词中 的多数可以用后缀词语归并规则进行自动归并，从而可以提高分词精度并便于句法分析。 1.1.3.提高分词单位的语法语义性质的确定性 以现代汉语词典 (修订本)中的 “打”和 “大”为例说明。 “打”有2个音3个字条27个义项，二字词 “打X”共收了不同形词条103个，同 形词而列不同词条者仅5个，占不到5%，同形而音不同者仅1个，占不到1%。有不同义 项者 (包括同形而不同词条)仅35个，占34%，其中4义项的1个，3义项