可扩展统计分词系统的构造.pdfVIP

≯籼齐 鞋数举_j|}据恭．||I库恭．；|I与带誊信蒂 ．|》I缸恭薹略弗赤 可扩展统计分词系统的构造 金华兴戴新宇陈家骏 (南京大学计算机软件新技术国家重点实验室计算机科学与技术系，南京210093) E-mail：jinhx@nlp．nju．edu．cn 摘 要 论文从实用的角度出发，在自行开发的一套分词系统的基础上，简要说明了一个分词系统的各个组成部分以及 各部分的处理方法，并提出了一个可扩展分词系统的框架。这个框架具有很好的适应性和灵活性，能够适用于各种不同 的统计方法或者规则统计相结合的方法。该框架也可包容各种未登录词识别的方法。可以作为进一步研究和开发分词系 统的一个基础平台．也可以为构造一个分词系统作指导。 关键词 分词 统计方法 可扩展框架 文献标识码A 中图分类号TP311 文章编号1002—8331一(2005)23—0176—03 ConstructionofanExtensibleChineseWord