对源自数据库的xml 文档的结构制导压缩技术#39;#39;.pdfVIP

计算机科学2002Vo1.29N0.8 对源于数据库的XML文档的结构制导压缩技术 ’‘ StructureGuidedCompressionforXMLDocumentinDB 陈敏敏 胡 蓉 唐常杰 黄晓冬 (四川大学计算机学院 成都610064) Abstract WiththedevelopmentofNetworkTechnology，XMLgrowsuptobeanimportant mediumforsearching，expressingandstoringtheWebdatabase.CompressionofXMLdocument isanimportantwaytopromotetheefficiencyofWebapplications.WedevelopaStructureGuid- edCompressModel(SGCM)，whichhasthreesteps:Mining，Pre-compressionandCompres- sion.Thekeyalgorithmsofgeneratingacompresseddocument，aswellassomedetailedimple- mentationaregiven.Experimentshowsthatthemodelworkswell，thestoragecostisreduced. Keywords XML，Database，Web，StructureGuidedCompressModel(SGCM),DOM 头部的元数据(主题信息的开始位置，结构成分，各 I 引言 成分的类型长度等),Heap文件的后部以无格式数 网络技术的发展使得Web成为最方便、最丰富 据流保存主题数据。 的数据源,Web就是数据库，网络存储也成为新的 终压阶段 在以上阶段的处理基础上，对具有 服务模式和经济增长点。XML(eXtensibleMarkup 良好结构形式的Heap文件进行最终压缩。 Language)在表达查询、查询结果、结构和半结构数 SGCM是一个无损的压缩模型，我们对一类来 据、处理从数据分布、异种数据源传送来的数据方面 源于关系数据库的XML文档作了初步试验。结果 有特别的优势，同时带来对存储空间的巨大需求，如 表明在预压阶段，存储空间便节省了10%左右，并且 一个仅以逗点分隔的常见简单文本形式的统计文 预压的中间结果为高效访问XML文档中特定的内 件，转化为XML文件后，字节数可以增加到原来的 容提供了极大的方便。 5倍[[l]!造成数据存储和传输上的极大不便。 2 相关工作 本文针对XML文件的特殊性，利用其结构上 的特点提出了对源于数据库的XML文档的结构制 IBM尝试使用Burrows-Wheeler算法而非顺 导压缩技术(StructureGuidedCompressModel，简 序Lempel-Ziv算法构建_Tbzip2，文幻〔不是建立字 称SGCM)。其立论基础是: 符串重现的字典，而是通过对未压缩的源文件中相 (1)源于数据库的XML文档应用频繁，数量极 关字符串进行重组，得到比一般方法更优的压缩效 大，占了检索结果存储量的大部分; 率，但是实现起来花费时间稍长。同样由IBM提出 (2)源于数据库的XML文档包含的信息在原 的XMill算法，对XML文件结构做出一些变换处 来的数据库中以紧凑的格式存储，在转换为XML 理，生成相对较小的文件作为压缩基础，再尝试进一 时字节数可能扩大1-2倍，减小了每K字节的信息 步的压缩，从而获得更高的压缩比。Millau压缩模 密度，有潜在压缩前景; 型是对WBX