WEB维文信息检索系统中维文的存储和特征项抽取.docVIP

WEB维文信息检索系统中维文的存储和特征项抽取 第23卷第1期 2006年2月 新疆大学(自然科学版) JournalofXinjiangUniversity(NaturalScienceEdition) V01.23.No.1 Feb.,2006 WEB维文信息检索系统中维文的存储和特征项抽取 陈丽珍,卡米力?毛依丁 (新疆大学信息科学与T程学院计算机系新疆乌鲁木齐830046) 摘要t本文介绍了维文在存储和文档特征项抽取方面与中,英文的不同之处,在维文文档的特征项抽取,加 权,相似度计算,模型的建立等方面做了一些探讨,提出了一种基于网络的维文信息处理(如:维文网页下载,网 页内容信息的存储,以及无词典智能化维文抽词)的方法.文中论述了算法的设计思想和相关的实现技术. 关键词;Web;维文信息检索;向量空间模型;信息存储 中圈分类号:TP393文献标识码:A文章编号{1000—2839(2006)01—0090—03 UigurStorageandParticipleontheUigur WebInformationRetrievalSystem CHENLi—zhen,KamilMoydin (CoHegeofInformationScienceamp;Engineering,Xi~iangUniversity,Urumqi,Xinjiang830046,China) AbstractIThispaperintroducesthedifferentpointsoftheUigurdocumentfromChinese,Englishdocumenton thestorageandextractofcharacteritemofinformationinUigurwebs.Workhasbeendoneinfollowingas— pects:extractofcharacteriteminUigurdocumentwordsegmentationandtheestablishmentofmodes.Mean— while,methodshavebeengiventotheprocessingoftheUigurinformation(includingthedownloadofUigur webs,thestorageofinformationinwebs.andtheparticipleoftheUigurdocumentwithoutdictionary).In short,thedesignofthesystemandtherelatedcalculationhavebeenmentionedinthispaper. Keywords:weblUigurwebinformationretrieval;vectorspacemodel;thestorageofinformation l引言 web信息检索(获取)长期的研究目标就是利用信息下载,存储,提取,分类,索引和浏览技术来实现 非结构化数据,比如网页,文本文档的检索.随着电子文档在Internet上发布和流传数目的迅速增加,1R 技术的重要性更加突出,基于Web的维文文档的快速,高效,准确的检索已经成为研究人员极为关注的 问题.对于信息检索,无论是英文,中文还是维文或其它语言应该说检索的技术手段是相似的,但是由于 各种语畜本身的不同(如:中文是字和字组成,从左向右书写;维文是单词和单词组成,单词间以空格分 开,从右向左书写),它的存储以及特征矢量集的提取技术是不同的,所以,维文处理中有两个方面是信 息检索的基础:一是维文的存储,二是维文文档中的特征项的提取.一个好的特征项抽取算法,能够快 速,准确的抽取文档中的中,高频词条,对信息检索中的分类和检索起到事半功倍的效果.本文重点解决 网页维文信息存储的处理方法以及维文分词技术. 2维文的存储 由于计算机在维文的限制,所以维文信息检索系统在程序运行时,就存在着一个从UNICODE编码 和对应的操作系统,浏览器及数据库支持的编码格式转换输入,输出的问题口],这个转换过程有着一系列 的步骤,如果其中任何一步出错,则显示出来的维文就会出现乱码.几乎所有的浏览器默认在传递参数 时都是以UTF一8编码格式来传递,所以下载基于Unicode标准的维文网页时不会出现乱码.只要你选 ?收稿日期:2005—08-30 基金项目:新疆大学校,院(系)联合资助项目. 作者简介:陈丽珍(1980一).女,硕士研究生,研究方向为计算机网络技术与应用. 第1期陈丽珍,等.WEB维文信息检索系统中维文的存储和特征项抽取91 定基于Unicode标准的维文字符集,就能得到正确的维文网页内容.因为对于几乎所有数据库的驱动程 序,默认的在程序和数据库之间