基于协处理器机制的hbase检索速度改进分析-analysis of h base retrieval speed improvement based on coprocessor mechanism.docxVIP

湖南大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于1、保密□，在______年解密后适用本授权书。2、不保密□√。（请在以上相应方框内打“√”）作者签名：日期：年月日导师签名：日期：年月日摘要在大数据处理领域，Hadoop与HBase构建的开源处理框架的应用越来越广泛，HBase作为分布式、列式存储的海量数据库，被应用于各种海量结构化数据的存储与计算中，以替代传统数据库弥补其无法应对海量数据挑战的缺陷。HBase的分布式、面向列存储的特性，使得HBase本身很难建立如传统数据库中的非主键索引（二级索引）。HBase的数据记录由Rowkey唯一标识，访问数据也只能通过Rowkey来进行。为了提高HBase的检索速度，业界广泛开展了对HBase二级索引的研究工作。受限于HBase所提供的服务端功能扩展较少，早期的索引方案只能在HBase集群之外构建索引组件，索引与数据相分离，导致索引效率低下。随着HBase协处理器机制的推出，这一问题得到改善。协处理器机制允许客户端远程调用服务端代码，制定服务端处理逻辑。这样一来就可以将索引化的工作迁移到服务端，将数据与索引方案协同构建，可以大大提高索引性能。针对HBase没有二级索引功能、各种索引方案缺陷繁多的现状，本文深入研究HBase的内部机制，结合各种索引方案的优点和缺陷，提出了两种基于协处理器的索引化方案。1.本文提出了基于协处理器的索引表方案。利用协处理器机制和HBase数据表的特性，在HBase集群中构建一个与数据表对应的索引表，使用协处理器制定索引更新和查询逻辑。完善了服务端的二次查表过程，从而实现HBase的索引。2.本文提出了基于协处理器的缓存索引方案，在索引表方案的基础上进一步改进，将索引构建在协处理器的内存对象中，利用内存的高效读写性能，进一步提高了HBase索引效率，改进了HBase的检索速度。综上所述本文完成了基于协处理器机制的HBase索引化方案设计与实现，有效提高了HBase的检索速度和索引设计策略。通过实验验证了索引方案对HBase检索速度的提升效果。证明了利用协处理器机制构建HBase索引来进行检索速度的优化是行之有效的。关键词：HBase；二级索引；协处理器；数据检索；缓存索引AbstractInthefieldofbigdataprocessing,theopensourceframeworkofHadoopandHBaseismoreandmorewidelyused.HBase,asadistributedcolumn-orientedhigh-volumedatabase,isusedinthestorageandcomputationofmanystructureddatatoreplacethetraditionaldatabaseastheycouldn’tcopewiththegreateramountofdata.DuetothenatureofHBasedistributed,columnorientedstorage,makingitdifficultforHBaseitselftobuildthenon-primarykeyindex(secondaryindexes)likeatraditionaldatabase.HBasedatarecordsareidentifiedbyRowkeyunique,andwecanaccesstothedataonlythroughRowkey.InordertoimprovetheretrievalspeedofHBase,theresearchworkofHBasesecondaryindexesarewidelycarriedout.Restrictedtotheserver-sidefunctionalextensionprovidedbytheHBaseareveryfew,theprogressofearlyHBaseindexingresearchworkisverysmall.Earlyindexingschemacan