HBase分布式二级索引通用的方案的研究.docVIP

HBase分布式二级索引通用的方案的研究 　　摘要：二级索引方案是分布式存储研究的重要分支之一，基于通用目标设计二级索引方案可避免单一业务编程繁琐问题，使实施人员更多地关注业务本身而非编程细节。以HBase数据库为研究对象，引入分布式索引机制，通过重写观察者Observer协处理器方法，操作完数据后立即触发创建或更新索引的请求，进一步在SolrCloud中完成对索引的管理。反向进行多条件组合查询时，先在SolrCloud中查询包含行键和索引列的文档，再以行键为条件查询并获取HBase记录。部署通用方案，实验证明该方案很好地满足了创建和维护HBase二级索引的要求，且保证了索引与记录的一致性，对进一步研究分布式存储二级索引方案有一定的指导意义。 　　关键词：分布式存储；分布式索引；二级索引；协处理器；通用方案 　　DOIDOI：10.11907/rjdk.171483 　　中图分类号：TP391 　　文献标识码：A文章编号文章编号2018）003018704 　　英文摘要Abstract：Secondary indexing scheme is an important branch of HBase database research. A scheme based on the general purpose will avoid programming against every single business detail， which helps the developers focus more on the business rather than the programming details. By overriding the methods of observer coprocessor， requests for creating indexes will be triggered after the records are stored in database， and then the indexes will be created and stored in SolrCloud which is a distributed indexer. Furthermore， documents of SolrCloud which contain both row keys and indexed columns can be filtered by a multiconditional query， and the target records will be fetched by the target row keys in the documents. Through deploying this scheme， it turns out that it completely meets the requirements of creating and maintaining secondary indexes of HBase and ensures the consistency between indexes and records. What’s more， the scheme referred in this paper has instructional significance for further study of HBase secondary indexing. 　　英文?P键词Key Words：HBase； SolrCloud； secondary indexing； coprocessor； general schema 　　0引言 　　索引是一种特殊文件，存储着数据表中所有记录的引用指针，从逻辑上对记录进行排序。索引通常建立在数据表的某些列上，在数据量不大时，有无合适的索引对记录查找速度影响不大，随着数据量的增加，查找性能会急剧下降，此时索引能加速查找过程。索引对数据库的查询速度至关重要，重构索引是数据库性能调优的起点。传统关系型数据库支持二级索引（也称多级索引），扩展了一级索引只针对单列构建索引的特性，主要用于多条件组合查询的场景。 　　在大数据应用中，作为一个分布式、可伸缩的列存储数据库，HBase表现出强大的生命力。HBase归属Hadoop生态系统，利用Hadoop分布式文件系统存储切片数据，通过Hadoop MapReduce计算框架处理海量数据，适用于联机分析处理和数据挖掘的场景。HBase主要定义了一个四维数据模型，分别为行键（rowkey）、列族（column family）、列修饰符（column qualif