大规模非结构化数据的索引技术研究.pdfVIP

第 24卷 第 l2期 计 算 机 技 术 与发 展 V01．24 No．12 2014年 12月 COMPUTERTECHNOLOGY AND DEVELOPMENT Dec． 2014 大规模非结构化数据的索引技术研究 时亚南 ，张太红 ，陈燕红 ，郭 斌 (1．新疆农业大学计算机与信息工程学院，新疆 乌鲁木齐 830052； 2．中国农业大学信息与电气工程学院，北京 100083) 摘 要 ：为解决搜索引擎ASPSeek在大规模数据下检索效率低下、占用空间大以及不利于更新等问题，提 出了一种分块式 存储的倒排索引组织技术，并对基于外存的B+树索引和线性散列索引的性能进行了比较测试研究。测试结果表明，查询 每万条数据耗时线性散列为B+树索引快57．40％，插人每万条数据耗时线性散列为B+树索引的2．44倍，删除每万条数据 耗时线性散列为 B+树索引的83．52％，线性散列索引文件大小为B+树索引文件大小的109．56％。由测试结果可知，B+树 索引具有较快的索引构建和更新速度，而线性散列索引则具有较高的磁盘空间占用率和较好的查询性能。 关键词 ：大规模数据；倒排索引；分块式存储 ；线性散列；B+树 中图分类号 ：TP31 文献标识码 ：A 文章编号 ：1673—629X(2014)12—0109—05 doi：10．3969／j．issn．1673—629X．2014．12． StudyonLarge-scaleUnstructuredDataIndexingTechnology SHIYa—nan ，ZHANG Tai—hong ，CHEN Yan—hong ，GUO Bin (1．SchoolofComputerandInformationEngineering，XinjinagAgriculturalUniversity， Ummqi830052，China； 2．CollegeofInfomr ationnadElectricalEngineering，ChinaAgriculturalUniversity， Beijing100083，China) Abstract：Tosolvetheproblem thatin large—scaledataconditionhteASPSeeksearchengineretrievalsinefficiently，haslargediskspace occupancyandcan’tbeconducivetOupdate，proposena inve~edindex—organizedtechniquebasedonblockstorage，nadmakeaper— formnacecomparisonreserachtestbetweenexternalmemorybasedB+treeindexnadlinearhashindex．Testresultsshow htat．forqueries pe rmilliondata-consuminglinera hashingtOB+treeindex is57．40％ ．forinsertingpermi lliondata—consuminglinera hash is2．44 timestoB+treeindex，ofrdeletingeverymilliondata—consuminglinearhashtoB+treeindex is83．52％ ，linera hash indexfilesizeis 109．56％ ofB+treeindexfilesize．Accordingtothetestresults．B+fleeindexhashtefas