面向海量数据管理的分布式倒排索引研究与应用-计算机应用技术专业毕业论文.docxVIP

浙江大学硕士学位论文 浙江大学硕士学位论文 摘要 摘要 随着人类数字化时代的到来，每天都会产生大量的信息数据，各种信息检索 系统已经成为人们有获取有效信息的重要手段。当面临海量数据的时候，检索系 统唯有依靠分布式的索引架构才能够快速有效地管理数据。可以看出，分布式索 引是这个时代信息大爆炸催生的产物，同时也是未来海量数据管理中重要的组成 部分。 本文首先介绍了索引分布式化的常见手段，然后阐述了当前“倒排索引’’在 分布式处理中的技术和现状。在基础上，提出了一种基于用户“查询”的“混合 分布式倒排索引组织方式，并对该方式中的关键技术进行了详细的说明和介绍， 同时给出了基于该索引组织方式的“查询路由策略，最后还针对用户“查询 趋势的变化，完善了索引结构的动态调整算法。 本文介绍国家“核高基项目中的“海量非结构化数据管理系统(UDMS)”的 目标及结构，重点说明了其任务处理流程。然后分析整个系统对索引管理的需求。 设计了基于“UDMS”架构的通用分布式索引框架。该框架的设计具有可靠性、扩 扩展性和灵活性。同时在本文中对其数据结构的设计和各个模块的具体实现进行 了详细的说明和介绍。 针对本文提出的“分布式倒排索引”的技术方案，进行实验分析对比。验证 其可行性，并分析其在不同应用需求下的参数调整策略。同时对未来的改进方向 提出建议。 关键词： 海量的，分布式，倒排索引，索引 浙江大学硕士学位论文 浙江大学硕士学位论文 Abstract Abstract With the advent of the digital age，every day will produce a lot of information and data；for everyone information retrieval systems have already become an important means to obtain valid information．When faced with massive data,in order to be able to quickly and efficiently manage data,retrieval systems must rely on a distributed index system．It call be seen，distributed index system not only is the birth of the era of information explosion,but also is an important part of massive data management in the future． In this paper we firstly describe the common methods of how to make distributed index system,the current technology and the application of distributed‘‘inverted index’．On the foundation,we propose a user’s‘‘query’’based‘‘composite’distributed inverted index technology,and elaborate the key component in detail，gives the corresponding”query routing”strategy．For the user’s‘‘query’’trends maybe changed， we also improve the dynamic index structure adjustment algorithm． In this paper we introduce”massive unstructured data management system (UDMS)”which subordinates to the national project”HeGaoJi”．We describe the objective and structure of“UDMS”，especially its mission process．Then we design a general distributed index