基于HBase数据分类的压缩策略选择方法.pdfVIP

第 37 卷第4 期 通信 学 报 Vo l.37 No.4 2016 年4 月 Journal on Communications April 20 16 doi :10.11959/j.issn.lOOO-436x.2016068 基于 HBase 数据分类的压缩策略选择方法 王海艳 l 2，伏彩航1 ，2 ().南京邮电大学计算机学院，江苏南京 210023; 2. 南京邮电大学江苏省无线传感网商技术研究重点实验室，江苏南京 21 ω03) 摘 要:为解决现有的HBase 数据压缩策略选择方法未考虑数据的冷热性，以及在选择过程中存在片面性和不可 靠性的缺陷，提出了基于HBase 数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase 数据划分为冷 热数据，并限定具体的访问级别;在此基础上增加评估层，综合考虑基于相邻区和统计列的选择方法，提出基于 数据访问级别的压缩策略选择方法. 仿真实验及结果表明，提出的压缩策略选择方法不仅节省了存储空间，还大 大提高了数据查询的性能。 关键词:数据压缩; HBase; 压缩策略选择方法:冷热数据 中圄分类号: TP30 1.6 文献标识码:A Compression strategies selection method based on classification of HBase data 1 1 WANG Hai_yan ,2, FU Cai-hang ,2 (1. School ofCom萨舱r Science and Tωmology， ， N町i鸣University ofP创岱， andTelecommuni但tions， Nanjing 21ω23， α由民 2.Jiangsu High Technology R出rch Key Labor曲ryforWu刨出如ISOCNetworks, Nanj吨University ofP，础创刊lecommuni创阳， N叫ing21栅3， C怕回) Abstract: Most of the current compression strategies selection methods for HBase data did not consider whether the data was cold or hot. Besides, problem of incomple能ness and unreliability existed during selection prωess. To address the problems above, a compression 抗rategies selection method based on c1assification of HBase data was put forward . 1由ase data was c1assified into cold and hot data according to the access 台equency of each data file and an access level would be designated to each file . On this base, an evaluation layer was added and a compression strategies selection method based on access level with integration of neighbor sector and statistic column based selection methods. S