java压缩和解压缩ZipJarGzip文件.DOCVIP

对于那些大型的、没有边界的文件，如日志文件，有以下选项。 　　存储未压缩的文件。 　　使用支持分割机制的压缩格式，如bzip2。 　　在应用中将文件分割成几个大的数据块，然后使用任何一种支持的压缩格式单独压缩每个数据块(可不用考虑压缩格式是否支持分割)。在这里，需要选择数据块的大小使压缩后的数据块在大小上相当于HDFS的块。 　　使用支持压缩和分割的Sequence File(序列文件)。 　　对于大型文件，不要对整个文件使用不支持分割的压缩格式，因为这样会损失本地性优势，从而使降低MapReduce应用的性能。 有些压缩格式不能被分块，并行的处理，比如gzip 第二，另外的一些压缩格式虽然支持分块处理，但是解压的过程非常的缓慢，使job的瓶颈转移到了cpu上，例如bzip2。 　　如果能够拥有一种压缩算法，即能够被分块，并行的处理，速度也非常的快，那就非常的理想。这种方式就是lzo。 hadoop使用LZO压缩 博客分类：? hadoop HadoopJavaApacheOpenSourceXML 1。安装LZO?sudo apt-get install liblzo2-dev?或者下载lzo2?/opensource/lzo/download/.?./configure --enable-shared?make?make install?确认安装成功? Jav