信息检索系统中藏文自动提示的研究与实现.docVIP

信息检索系统中藏文自动提示的研究与实现 　　信息检索系统中藏文自动提示的研究与实现 　　武强，边巴旺堆 　　（西藏大学 工学院，西藏 拉萨 850000） 　　摘要：在当今信息社会，信息检索已经成为人们日常工作的一部分。藏文作为一种古老的文字，也融入了当今的信息时代，越来越多的网页、电子邮件等电子文档以藏文形式出现。该文主要探讨了藏文的构成、编码、分词及藏文相关提示词的实现原理及方法，对具有重要影响的藏文分词和排序进行了深入的分析，实现了在信息检索系统中基于权重的藏文自动提示功能。通过测试分析，该功能能较好地分辨藏文和依据权重对藏文进行相关词提示。 　　关键词：藏文；分词；信息检索；相关词提示；编码；网页 　　中图分类号：H214 文献标识码：A 文章编号：1009-3044（2014）19-4378-03 　　Research and Implement of Tibetan Term Suggestion in Information Retrieval System 　　WU Qiang， BianBa Wangdui 　　（College of Engineering， Tibet University， Lhasa 850000， China） 　　Abstract： Information retrieval has become a part of people work in today’s information society. As one ancient language， Tibetan has blended in with today’s information age. There are more and more web pages， e-mails etc. in the form of Tibetan. The paper mainly discusses the structure， encoding， term segmentation of Tibetan and implementation mechanism and method of Tibetan term suggestion， and analyses deeply the Tibetan word segmentation and Tibetan sort， finally implements the function of Tibetan term suggestion based on the value of a Tibetan word in documents. From testing， the function can distinguish Tibetan word and get the Tibetan term suggestion based on value properly. 　　Key words： Tibetan； word segmentation； term suggestion； information retrieval； encoding； Web page 　　1 概述 　　目前，随着互联网和个人电脑的发展，信息量每天都以指数级增长，信息检索[1]成了一种人们获取日常信息的主要手段。藏文，作为一种古老的书写文字，其历史可以追溯到1400多年前。迄今为止，以藏文记载的古典著作浩如烟海，这些书籍在藏民族的传承和发展上发挥着重要的作用。随着信息时代的到来，以藏文形式记载的各种网页、文档也越来越多，利用检索系统对藏文进行检索，可以更快地获取信息，同时也促进了藏文的发展。 　　相关词的自动提示功能（Term Suggestion）在一些常用的网站上可以看到，比如搜索网站谷歌，百度，电子商务网站淘宝，易趣等。相关词的自动提示功能优化了搜索结果，通过系统来猜测检索人需要的搜索词语，为检索人在信息检索时提供了更多的便利和较准确的检索结果。图1显示了百度搜索引擎上相关词的提示功能。从该图我们可以看到，相关词的提示功能即提高了检索书写速度，又延长了检索词的长度，为进一步返回更准确的结果提供条件。 　　 　　图1 百度上汉语自动提示功能 　　2 藏文的构成、编码及分词 　　2.1藏文的构成 　　藏文字是一种拼音文字，可以被看做由基本字符且基本字符通过纵向叠加和横向连接而成[2][3]。藏文字主要由现代藏文和一些梵音转写体和反写体组成。现代藏文是由三十个辅音字母和四个元音字母组成，它是藏文字的主要组成部分。加上梵音的转写体和反转体，藏文共有四十一个辅音字母和十三个元音字母。图2给出了一个藏文字的各组成构件，藏文字看起来虽然复杂，但每一个藏文字并不是随意