基于基字识别藏文音节字检错算法研究.docVIP

基于基字识别藏文音节字检错算法研究 　　[摘 要]在藏文音节字构件中基字占有重要的地位，只要准确的识别出基字的位置，可通过音节字的长度来获得其他构件，并以基字为核心来判断组成音节字其他构件的搭配是否符合规则。本文通过研究藏文音节字构件组合语法，提出了一种基于基字识别的藏文音节字检错算法。该方法不使用藏文音节字词典及大规模语料库的支撑。通过实验，该方法自动检错藏文音节字的正确率为97%。 　　[关键词]藏文音节字；基字；自动检错 　　中图分类号：TP391.1 文献标识码：A 文章编号：1009-914X（2014）42-0260-03 　　Research on an detection algorithm of error Tibetan syllable based on Jizi recognition 　　Cai Rang San Zhi，GAO Dingguo， Tashi igyal， Guan Bai 　　（Tibet University， Lhasa，Tibet 850000， China） 　　[Abstract]Jizi plays an important role in the Tibetan syllable component. So long as the position of Jizi is recognized correctly， we can get other components through the length of syllable and take Jizi as core to judge whether the collocation of other components， which forms syllable， conforms to rules can detcet error Tibetan syllable.This article proposes an error detection algorithm of Tibetan syllable based on Jizi recognition by researching the combination grammar of Tibetan syllable component. And this method doesn’t get any support of Tibetan syllable dictionaries and large-scale corpus. Through the experiments， this method’s accuracy to detect Tibetan syllable automatically is 97% . 　　[Key words]Tibetan syllable； Jizi； automatic error detecting 　　引言 　　随着互联网及藏文信息技术的发展，出现了海量的藏文电子文本。这些电子文本在藏语语料库、机器翻译、信息检索、语音识别和语音合成等领域的研究中有着重要的作用。但这些电子文本的质量参差不齐，不能直接使用于研究。因此，在使用这些电子文本前，进行校对是一项重要的工作环节。 　　国外在文本校对研究方面起步较早，大约始于上世纪六十年代左右，其中英文文本的校对成果最为突出，大部分成果实现了产品化[7]。英文校对主要采用最小编辑距离和相似键技术以及自然语言统计技术等来实现的。最为常见的英文校对研究成果有office字处理软件中嵌入的英文拼写检查功能。国内对汉文文本的校对研究始于二十世纪九十年代初期。汉文文本的校对主要采用基于混淆集的特征方法、基于模式匹配的校对方法和基于散串技术的校对方法等，与国内其他少数民族的文字校对技术相比，成绩最为突出，且部分校对技术成果已产品化。 　　藏文自动校对研究始于上世纪九十年代末，《一个藏文拼写检查系统的设计》是藏文自动校对方面的第一篇文章。藏文属拼音文字，但与同属拼音文字的西文有着很大的区别，藏文独特的语法体系、书写方式和文化背景等造就了与其他拼音文字之间的差异。因此，其他较为先进的拼音文字校对方法、策略和技术等不能直接用于藏文文本校对中。研究藏文文本校对需立足于藏文字本身的组合规则、语法特点、发展规律和使用习惯等方面进行研究。藏文自动校对技术在近十几年的发展中取得了一些成果，但主要是以词典匹配为主。基于词典匹配的校对有以下局限性：1）语言是个动态现象，每时每刻都发生着变化，尤其词汇方面的发展和变化最为突出。2）藏文音节字的组合是由特定的语法规则来完成的，但目前实际使用的符合语法规则的藏文音节字的数量小于依照藏语语法所能组合的音节字的总和。因此，在本文中采用藏文语法规则来检错藏文音节字，