高阶熵压缩的全文自索引.pdfVIP

第39 卷第12 期 计算机学报 Vo l. 39 No. 12 2016 年 12 月 CHINESE JOURNAL OF COMPUTERS D噎c. 2016 高阶摘压缩的全文自索引 霍红卫陈晓阳陈龙刚于强 〈西安电子科技大学计算机学院 西安 71007 1) 摘 要 大数据集正在以前所未有的速度产生，研制大数据集的实用压缩全文自索引是目前的挑战间臣之一.该 文提出了一种商阶偏压缩的全文白段引.对于长为的文本 T 以及任意h豆c log.n-1 和 c1 ， 该压缩索引占用 2nH. (T) +n+o(n)位的空间，其中 H.(D表示文本 T 的h 阶经验倚，σ 为字符袤的大小.此外，该压缩索引可在线 性时间。(n) 内构造.在此基础上，该文还绘出了上述压缩索引的一种实用改进.这种改进引入了混合编码方法，额 外的空间开销为时位.对于Piz回 .Chili Corpus 上的三类典型数据的实量表明:该文的压编索引较之主流压缩 索引在压缩率和查询时间上具有显著的优势.该文所述的压缩索引软件可在GitHub 上访问. 关键词 大数据z 压缔索引F 自索寻11 高阶却11 ，混合编码 中图法分类号 TP18 001 号 1 0. 11897/ SP.J. 1016.2016.02494 High-Order Entropy-Compressed Full-Text Self-Indexes HUO Hong-W ei CHEN Xiao卢Yang CHEN Long-Gang YU Qiang (Schωlol Computer Scimce and Technology , Xidian University ， 沽an 710071) Abstract Big data sets are being produced at unprecedented rates. Developing a practical compressed full-text selí-index for big data sets remains one of the most challenging problems. l n this paper we present a high-order entropy-compressed (ull-text selC-index. For a text o( n characters , our compressed (ull-text self-index occuples 2nH.(T) + n + o(n) bits o( space for any k豆c log.n 一l and any constant cl , where H. CT) denotes the kth order empirical entropy. ln addition , our compressed indexes can be constructed in linear time. We also give a practical improvement on the compressed index described above. Our practical improvement introduces hybrid encoding methods. The extra cost needed is 0 Cn) bits. Experiments on three typical data sets on the Pizza .Chili Corpus show that our compressed indexes have significant advanta