面向微博实时搜索的自适应索引方法研究-计算机应用技术专业毕业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密□ ，在 年解密后适用本授权书。 不保密□。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 华中科技 大学硕士 学 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘 要 随着微博的飞速发展，日益增长的微博数据规模和用户查询请求对微博实时搜 索的性能提出了更高的要求，寻找高效且稳定的微博实时索引方法来提高微博实时 搜索的性能成为当务之急。传统的索引方法无法适应索引数据频繁更新的场合，而 且目前流行的微博索引方法存在索引碎片以及索引合并开销过大的问题，导致微博 实时搜索在查询与更新微博时需要消耗大量的时间。 为了解决上述问题，一种面向微博实时搜索的自适应索引方法得以提出。该方 法采取了一种动态调节的日志索引结构 LS-AMS，并为索引结构设计了一种自适应 的合并策略。LS-AMS 由一个倒排索引缓存和一个大小呈指数增长的动态调节的索 引包序列组成。索引包采取自适应索引合并策略来管理包里的倒排索引，该策略能 降低索引合并的开销并且能基于环境因素比如用户查询请求的到达速率和新微博的 产生速率等的变化来自适应地调节索引结构，降低多变的环境因素对查询性能的影 响。 与目前流行的实时索引方法采取的分段索引结构和日志索引结构进行性能测试 的结果显示，LS-AMS 在不增加索引方法更新时间的情况下，在查询时间上比这两 种索引结构降低了至少 8%。同时 LS-AMS 受到查询请求到达速率的变化影响较其他 索引结构更小。实验表明，该自适应索引方法对微博实时索引的查询性能及稳定性 的提升有很大的帮助。 关键词：信息检索，实时搜索，微博索引，自适应合并 II II Abstract With the rapid development of Micro-blogging, the growing scale of microblogs and query requests puts forward higher requirements on the performance of real-time search on microblogs, seeking for an efficient and stable real-time index method to improve the performance of real-time search on microblogs becomes crucial. The traditional index methods cannot adapt to the occasion of index data updated frequently, and the existing index methods on microblogs are frustrated by the index fragmentation and exaggerate merging overhead, resulting in the real-time search on microblogs taking a lot of time in querying and updating microblogs. An adaptive index method for real-time search on microblogs is proposed to remedy this defect. The method adopts a dynamically adjustable Log-Structured index structure with Adaptive Merging Strategy (LS-AMS) for real-time search on microblogs. LS-AMS structure consists of an inverted index buffer and a sequenc