傣文自动分词系统的设计与实现i.pdfVIP

i 傣文自动分词系统的设计与实现 1 1 2 1 高廷丽 ，陶建华 ，戴红亮 ，李雅 1 中国科学院自动化研究所模式识别国家重点实验室，北京 tingli.gao@ ；jhtao@ ；yli@ 2 教育部语言文字应用研究所，北京 daihongliang9119@126.com 摘 要 ：傣文自动分词是傣文信息处理中的基础工作，是后续进行傣文输入法开发、傣文 自动机器翻译系统开发、傣文文本信息抽取等傣文信息处理的基础，受限于傣语语料库技 术，傣文自然语言处理技术较为薄弱。本文首先对傣文特点进行了分析, 并在此基础上构 建了傣文语料库,同时将中文分词方法应用到傣文中，结合傣文自身的特点，设计了一个 基于音节序列标注的傣文分词系统，经过实验，该分词系统达到了 95.58%的综合评价值。 关键词:傣文；分词；CRF；绝对切分词 中图分类号：TP391 文献标识码：A DAIWEN WORD SEGMENTATION SYSTEM DESIGN AND IMPLEMENTATION Abstract: Daiwen word segmentation is the basis for Daiwen information pro- cessing work. It’s the basic work for Daiwen input method, Daiwen machine translation system development, daiwen text information extraction and other information processing words. Limited by Daiwen corpus technology, Daiwen nat- ural language processing technology is relatively weak. This paper first ana- lyzes the characteristics of Daiwen, and on this basis, build a Daiwen corpus, then, applied Chinese word segmentation method to Daiwen segmentation, combined with its own characteristics, Designed an Daiwen word segmentation system based on the sequence annotation. Through experiments, the segmentation system has reached a comprehensive appraisal 95.58%. Key words: Daiwen; Segmentation; CRF; Absolute segmentation word 1 引言 随着计算机技术和互联网技术的发展，积累了大规模的中文语言资源，为中文分词、 文本分类、输入法等中文信息处理技术提供了良好的研究基础。目前，中文分词技术已经 非常成熟，准确率和召回率达到了较高水平。西双版纳傣文做为一种少数民族语言文字， 与中文有较大差别,目前虽然有部分傣文语料，但都没有经过加工处理，无法用于后续研 究开发。受限于语料库技术，傣文的自然语言处理技术也较为薄弱，目前还没有较好的傣 文分词系统。本文的工作主要有两部分：一是建立一个能用于后续傣文信息处理的傣文语 料库；二是充分结合傣文自身特点，将中文分词方法应用到傣文中，研制一个高性能的傣 文分词系统，为傣文信息处理提供基础。 2 西双版纳傣文及特点 傣族有五种不同形体的文字，即西双版纳傣文（也称傣泐文或经典傣文）、德宏傣文 （也称傣那文）、傣绷文、金平傣文、新平傣文。其中西双版纳傣文和德宏傣文使用广 泛，留下了大量文献，傣绷文也留有少量文献，金平傣