基于Hbase的列存储压缩算法的研究与实现.pdfVIP

Research and Implementation on HBASE based Column-oriented Compression Algorithms A Dissertation Submitted for the Degree of Master Candidate：Luo Yanxin Supervisor：Prof. Peng Xinyi South China University of Technology Guangzhou, China 摘要 在过去的的几年里，伴随着云计算技术的蓬勃发展，基于列存储的数据库系统也逐 渐兴起，许多机构正在尝试将传统的行数据库迁移到列存储数据库中去，以适应数据的 海量增长。其中HBASE (Hadoop Database)列存储数据是目前业界关注度最高的开源产品 之一，著名的社交网站Facebook公司把其每个月超过1350亿条信息保存在HBASE列存储 数据库中。尽管现在业界对HBASE期望很高，但是它还是有一些缺点，例如：没有结合 列数据按列存储的特点对数据进行高效的压缩，不支持直接操作压缩态数据等。因此， 研究高效实用的压缩算法具有重要的实际意义。 本文首先研究了在HBASE平台下的列存储数据库的需要用到的关键技术，然后深入 的探讨HBASE平台文件的存储格式、文件的读写流程、数据的压缩方法等。在现有压缩 系统的基础上针对列存储数据库按列存储、列属性值相似度高这一事实提出了在列存储 数据库中引入一些轻量级的压缩算法，以列属性值为一个编码单元进行数据压缩，对某 些数据不仅仅可以提高数据压缩率，还可以减少压缩解压时间。对于使用这些轻量级的 压缩算法压缩的数据，本文还提出不需解压直接操作压缩态数据的方法，进一步的提高 的系统的性能。同时针对不同数据适用不同压缩算法这一情况，提出了一种基于贝叶斯 分类的压缩算法动态选择策略，通过贝叶斯公式计算后为不同的数据块选择不同的压缩 算法，尽可能使待压缩数据达到最佳的压缩效果。实验证明，通过在HBASE系统中引入 轻量级的压缩算法和加入基于贝叶斯分类的压缩算法选择策略之后，不仅系统的压缩率 提高了，而且压缩解压的速度和查找数据的速度也加快了。 关键词：列存储数据库；贝叶斯分类；数据压缩；HBASE I Abstract In the past few years, the column-oriented database system is rising gradually with the vigorous development of cloud computing. Many agencies are trying to transform the traditional row-oriented database into the column-oriented database for adapting to the massive growth of data. Among them, HBASE (Hadoop Database) column-oriented database is one of the most watched open source products in the industry. Facebook, a famous social networking site has more than 135 billion pieces of information every month and they were stored in HBASE column-oriented Database. Although HBASE got high expectations from the industry, it still has some shortcomings. For example, it