班智达藏文语料切分词典的建立和算法研究.pdfVIP

第29卷第7期 计算机应用 Vo1．29No．7 2009年 7月 JournalofComputerApplications July2009 文章编号：11301—9081(2009)07—2019—03 班智达藏文语料切分词典的建立与算法研究 才藏太 (青海师范大学 民族师范学院，西宁810008) (caizangt@tom．corn) 摘 要：随着自然语言信息处理的不断发展和完善，大规模语料文本处理 已经成为计算语言学界的一个热门话 题。一个重要的原因是从大规模的语料库中能够提取 出所需要的知识。而语料文本的处理与加工以语法信息词典 作基础。结合藏文语料库切分标注规范，论述 了对藏文语料库切分与标注用的藏文语法信息词典的建立和设计，重 点讨论了该词典的内容建设、语法信息的标注、索引结构及查找算法。 关键词：藏文语料库；切分；标注；索引 中图分类号：TP391 文献标志码：A DesignofTibetansegmenattiondictionaryanditsalgorithm study CAIZang-tai (CollegeofNationalHualiortTeachers，QinghaiNormalUniversity，XiningQinghai810008，China) Abstract：With the developmentand improvementofnaturallanguage information processing，enormouslinug istic materialtextprocessinghasbecomeahottopicintheareaofcomputationallinugistics．Oneimportantreasonisthatitbeing abletocollectthedemandingknowledgefrom thehugecorpus．However，thelinugisticmaterialtextprocessingisbasedon grammarinformation dictionary． Combining the stanadard ofTibetan COprUS segmenting tag， thispaperdiscussed the establishmentanddesignofTibetancoprussegmentationandtagsonTibetangrammarinfomr ationdictionary，andemphatically discussedtheestablishmentofcontexts，tagsofrgammarinfomr ation，indexstructureandthemeansofcalculationgathering． Keywords：corpusofTibetan；segmentation；tag；index 比词大的单位(如成语、习用语、简缩语等)，词典中也包括词 0 引言 类信息和其他语法信息。因此，建立和设计这样一部词典是 在国内，西北民族大学、中国藏学研究中心和中国社会科 藏语语料加工和处理的首要工作。因此，笔者所在课题组建 学院民族研究所等单位在藏文语料库建设以及利用语料库进 设开发了一部对藏文语料库进行切分和标注用的藏文电子词 行藏文信息处理研究方面都有一定的探索和进展。但是，目 典 (以下简称为 《藏文切分词典》)。 前在建设藏文语料库时由于缺乏统一的规范和标准，加之未