班智达藏文语料切分词典的建立和算法的研究.pdfVIP

班智达藏文语料切分词典的建立与算法研究 才藏太 (青海师范大学藏文信息与机器翻译省级重点实验室青海西宁810008) caizangt@tom．tom 摘要：随着自然语言信息处理的不断发展和完善，大规模语料文本处理已经成为计算语言学界的一个热门 话题．一个重要的原因是从大规模的语料库中能够提取出所需要的知识。而语料文本的处理与加工以语法 信息词典作基础。本文结合‘藏文语料自动标注》的开发经验，论述了对藏文语料库切分与标注用的藏文 语法信息词典的建立和设计，重点讨论了该词典的内容建设、语法信息的标注、索引结构及查找算法． 关键词：藏语语料库，切分，标注，索引 Establishand theTibetan Dictionary Design Segmentation for ofTibetan UsingCorpus Processing Cai zan舀ai Normal Umversity (Qinghai QmghaiXininO Abstract：Asthe ofnatural information constant and developmentImprovementlanguage materialtext hasbecomeahot intheareaof linguistic processing topic computationallinguistics．Oneimportant to reasonisthatit ablecollectthe fromthe being demandingknowledgehugecorpus．However,thelinguistic materialtext isbasedon information articlecombineswiththe processing grammar dictionary．This exploration ofTibetan automatic theestablishmentand ofTibetan experience corpus tag,discusses design corpus and onTibetan information talksOVcItheestablishmentof segmentationtags grammar dictionary．Itmainly structureandthemeansofcalculation contexts,tagsofgrammarinformation，index gathering． Keywords：CorpusofTibetan，Segmentation,tag,index 一、引言 在国内，西北民族大学、中国藏学研究中心和中国社会科学院民族研究所等单位在藏 文语料库建设以及利用语料库进行藏文信息处理研究方面都有一定的探索和进展。但是，目 前在建设藏文语料库时由于缺乏统一的规范和标准，加之未能对语料进行必要的加工和处 理，使得现有的藏文语料库不能够充分发挥出其应有的作用。 语料库的加工主要是指文本格式处理和文本描述两项工作，前者是对采集的语料文本进 行整理，转成统一的电子文本格式，例