由字构词——中文分词新方法.pdfVIP

由字构词——中文分词新方法 黄昌宁，赵海 微软亚洲研究院，北京市海淀区知春路49号希格玛中心．100080 摘要：被称为Bakeoff的国际中文分词评测由于创建了公开、可比的分词评测语料库和多视角的评测指标， 从而一举改变了中文分词研究的格局．通过带标注的语料库来定义中文的词语，允许采用不同分词标准而 不是唯一标准的语料同台评测，通过定量分析科学地确认未登录词(OOV)i．n,另lJ的性能是进一步提高分词精 度的突破12．以及针对这一需求而提出的“由字构词”的新分词方法等．都是近四年来分词研究领域涌现 的喜人景象。本文将简略介绍。由字构词”的中文分词新方法．说明它出现的动机和采用的机器学习机制。 得四个第一和两个第三．本文也相应地解释了这个参赛系统的一些重要设计理念。 Character-Based Tagging： for ANewMethodChineseWord Segmentation Huang Hai Chang-Ning，Zhao MicrosuflResearch Asia49。ZhichunRoad，Haidian Word Abstract：InternationalChinese Bakeoif,whichnot and Segmentation open presentedonly comparable also evaluation but multi·view the ofChineseword segmentedcorpora metrics，greatlyimpmvcdstudy lastfour inChinesehasbeendefined scgmantafion．Inyears,word-hood bysegmented segmentedhavebeen inthesanleevaluation itw∞ corpora provided platform,throughquantitativeamalysis confirmedthat identificationthe is issuefor the of out-of-vocabulary(oov)wordkey performance improving Chineseword in character-basedmethodisaimedatthe ofbeRer whole，while segmentation tagging requirement OOVwordidentification．Inthis will introducecharacter-basedmelhodforChineseword