藏语语料库加工与处理用的藏文切分词典的建立和设计.pdfVIP

藏语语料库加工和处理用的藏文切分词典 的建立与设计1 才藏太，华却才让 (青海师范大学藏文信息处理中心青海西宁810008) ．c．．a．．iz．．a．．n．．鳓．．．．．．．t．o．．．m．．．．．c．o．．m一 摘要；随着自然语言信息处理的不断发展和完善，大规模语料文本处理已经成为计算语言学界的一个热 门话题。一个重要的原因是从大规模的语料库中能够提取出所需要的知识。而语料文本的处理与加工以语 法信息词典作基础。本文结合《藏语语料自动标注》的开发经验，论述了对藏语语料库切分与标注用的藏 文语法信息词典的建立和设计，重点讨论了该词典的内容建设、语法信息的标注、索引结构及查找算法。 关键词：藏语语料库，切分，标注．索引 一、引言 在国内，西北民族大学、中国藏学研究中心和中国社会科学院民族研究所等单位在藏文 语料库建设以及利用语料库进行藏文信息处理研究方面都有一定的探索和进展。但是，目前 在建设藏文语料库时由于缺乏统一的规范和标准，加之未能对语料进行必要的加工和处理， 使得现有的藏文语料库不能够充分发挥出其应有的作用。 语料库的加工主要是指文本格式处理和文本描述两项工作，前者是对采集的语料文本 进行整理，转成统一的电子文本格式，例如数据库格式、XML文本格式等。后者是描述每 一篇语料样本的属性或特征，包括篇头描述和篇体描述。篇头描述说明整篇语料样本的属性， 例如语体、内容所属的领域、作者、写作时间、来源等等，篇体描述是在文本里添加各种语 言学属性标记，对于藏语书面语语料库来说，常见的是词语切分标记、词性标注、专有名词 标记等等。标注的信息逐步增多，语料加工的深度也就逐渐增加。人们通常把没有篇体描述 信息的语料叫做生语料。对藏语的生语料只能以音节(磊q。目弋)为单位进行检索和统计。经 过词语切分处理的语料，就能以词为单位进行检索、统计和定量分析。如果还作了词性标记， 那么可以获得的语言学信息就更多了。语料的标注如果由人来做，当然能够保证准确性，但 是人工标注对处理大规模的语料显然不够现实。所以几乎每一个大规模语料库的加工都需要 借助一个词典，作为分词和词性标注的基础。这个词典与常用的语文词典相比，收录的词目 不大一样，包括了语言学家认可的词，以及一些比词小的单位(如语素字、词缀等)和一些 比词大的单位(如成语、习用语、简缩语等)，词典中也包括词类信息和其他语法信息。因 此，建立和设计这样一部词典是藏语语料加工和处理的首要工作。因此，我课题组建设开发 了一部对藏文语料库进行切分和标注用的藏文电子词典(以下简称为《藏文切分词典》)。 二、藏文切分词典的建设 对于任何一部词典，收录多少词语以及收录什么样的词语、不收录什么样的词语，都是 颇费斟酌的问题，因为这个问题直接关系到词典的使用价值。我们建设切分词典的过程分两 1本项目的研究得到国家语委项目的资助 作者简介：才藏太(1974．8m)，男，藏族，青海尖扎县入，讲师，硕士研究生，研究方向为计算机网络、 藏文信息处理。 _116- 部分完成，即基础词汇库的建设和特殊词汇库的建设。 2．1基础词汇库的建设 在基础词汇库的建设过程中，我们确定以张怡荪主编的《藏汉大辞典》(上、中、下) 为蓝本。这是一部大型的以词为主的综合性藏文辞典，全书所收集的词条共达56000余。尽 管《藏汉大辞典》是一部权威的大型辞典，但也难免有疏漏的情况。为了最大限度地提高基 础词汇的覆盖率和可靠性，我们又选用《格西曲札》、《新编藏文字典》等5种各具特色的藏 文词典，分别与基础词汇库进行逐词对照，又增补了基本词汇和常用词汇6000余条。筛选 后最终定稿的藏文切分词典中的基础词汇库共收录了53000余词条，所有这些词条都通过了 五省区名词审定委员会审定。 2．2特殊词汇库的建设 为了提高计算机处理藏文语料效率的角度考虑，词典中除了基础词汇之外还收录以下9 类语言成分，包括前缀成分、中缀成分、后缀成分、藏文格助词、终结词、祈使词、成语、 习用语、简缩语。其中前6类是比“词”更小的单位，不成词。这些成分在藏文中的数量是 有限的，我们尽可能都收录了词典。后3类是比“词”更大的单位，也不成词。词典中只能 收一部分使用频率较高的。为了方便，将该词典中登录的各种语言成分笼统地叫做“词语”。 三、词性分类