列存储数据区级压缩模式与压缩策略选择方法.pdfVIP

第33卷第8期 计 算 机 学 报 v01．33No．8 2010年8月 CHINESE oFCoMPUTERS 2010 JOURNAL August 列存储数据区级压缩模式与压缩策略选择方法 王振玺” 乐嘉锦” 王 梅 刘国华。’2’ ’(东华大学计算机科学与技术学院 上海 201620) 2’(南京大学计算机软件新技术国家重点实验室南京210093) 摘 要压缩技术是列存储数据管理的重要研究内容之一．目前多数方法对同一列数据使用单一压缩方法进行压 缩，忽略了数据的局部分布特性，极大地影响r压缩件能．该文提出一种区级压缩模式，并在此模式下提出基于学习 的压缩策略选择方法．首先该文将数据列进一步划分为区，并分别定义相邻区信息与区所在列的统计信息为参照信 息，进而通过学习参照信息与当前区之问的相似性和差异性进行策略推荐．最后该文对区进行局部学习从而对推荐 压缩策略进行修正，保证压缩策略的有效性．在数据仓库基准数据集SSB上的实验结果验、证了该文方法的有效性． 关键词 列存储；数据压缩；区级压缩模式；压缩策略选择 中图法分类号TP311 DOI号：10．3724／SP．J．1016．2010．01523 Sector-Based and SelectionMethod CompressionCompressionStrategy fOrColumnStores WANGZhen—Xil’LEJa—Jinl’WANGMeil’LIUGuo—Hua”’2’ ”(School Scienceand 201620) ofComputer Technology，DonghuaUniversity，Shanghai 2’(State Novel 210093) KeyLaboratoryfor Sclft3uareTechnology。NanjingUniversity，Nanjing Abstract isan researchfieldincolumn-oriented Compressiontechnologyimportant management forcolumn—orienteddatausesame system．However，mostpreviouscompressiontechniques algo— rithmforall thelocaldistribution the ofdata，which columns，ignoring greatlydegradecompression asector-based such further performance．Thispaperproposes compresspattern，underpattern pro— videsanovel selectionmethodforcolumn learning—basedcompressionstrategy stores．First，da