压缩数据上的关系代数操作算法.pdfVIP

Joumal of Computer Applications ISSN 1 ∞1-9081 2016-01-10 计算机应用，2016， 36(1):21-26， 51 CODENJYIIDU 文章编号:1 ∞1-9081 (2016 )01-∞21-06 DOI: 1O.11772/j. issn.l∞1-908 1. 2016. 01.∞21 压缩数据上的关系代数操作算法 丁鑫哲1 ，张兆功l\ 李建中2 ，谭龙ljt 勇l (1.黑龙江大学计算机科学技术学院，哈尔滨 15∞80; 2 哈尔滨工业大学计算机科学技术学院，哈尔滨 15∞10) ( *通信作者电子邮箱 zhaogong@) 摘 要:针对在大数据管理中，在压缩的数据上无需解压即可进行相关操作的问题，在数据服从正态分布的前提 下，根据列数据存储的特点，提出了一种新的面向列存储的压缩方法一-CCA。首先，通过对列数据的长度进行归类; 然后，采用抽样的方法获得重复度较高的前缀;最后，使用字典编码进行压缩，提出了列索引(CI)和列实体(CR) 作为 数据压缩结构来降低大数据存储的空间需求，从而直接有效地在压缩数据上支持选择、投影、连接等基本操作，并实 现了基于 CCA 的数据库原型系统一-D-DBMS。理论分析和在 1 TB 数据上的实验结果表明，该压缩算法能够显著提 高大数据的存储效率和数据操作性能，与 BAP 和TIDC 压缩方法相比，在压缩率分别提高了 519岛、14%;在执行速度上 提高了 47% 、429品。 关键词:大数据压缩;列索引;列实体;关系代数操作 中图分类号:T月1 1. 13 文献标志码:A Relatiooal algebraic operatioo algorithm 00 compressed data 2 1 DING Xinzhe , ZHANG Zhaogong , LI Jianzhong , TAN 1ρng ， LIU Yong (1. College 0/ Co呻uter ScieTICe and Technology, Heilongjiang University, Harbin Heilongjiang 15∞盹 China; 2. College 01 Computer Science and Technology, Harbin Institute 01 Technology, Hα， rbin HeilongjiaT咯 15∞10， China) Abstract: Since in the massive data management , the compressed data can be done some operations without decompressing first , under the condition of normal distribution , according to features of column data storage, a new compression algor讪m which oriented column storage, called CCA (Column Compression Algor讪m) ， was proposed. Firstly , the length of dala was classified; secondly, Ihe sampling melhod was us