一种实用的资源稀缺条件下的分词方法.pdfVIP

第33卷第1期 2016年 1月 计 算 机 应 用 研 究 Application Research of Computers Vo1．33 NO．1 Jan．2016 一 种实用的资源稀缺条件下的分词方法 马 宁，李亚超 ，何向真，于洪志 (西北民族大学甘肃省民族语言智能处理重点实验室，兰州730030) 摘 要：在一些使用人数较少的语言中，缺少人工标注语料，研究在资源稀缺条件下的分词方法成了亟待解决 的问题。研究了无监督的VE算法，以及最大匹配间隔标注算法，在此基础上提出一种无监督分词方法与最大 匹配方法相结合的分词方法，并在汉语语料上进行实验。该分词方法显著提高了最大匹配分词方法的分词效果， 同时也优于-5前最好的无监督分词结果。实验表明，该方法快速、有效，利用较小的资源获得了较好的分词效果。 关键词：分词；无监督分词；最大匹配；VE算法；间隔标注；资源 中图分类号：TP391．1 文献标志码：A 文章编号：1001．3695(2016)01．0068．03 doi：10．3969／j．issn．1001—3695．2016．01．015 Practical approach of word segmentation in poor resource situation Ma Ning，Li Yachao ，He Xiangzhen，Yu Hongzhi (Gan