统计检验方法在无损压缩中的应用.PDFVIP

统计检验方法在无损压缩中的应用 --基于 《卫星海洋遥感数据的无损压缩及解压算法》 宋辰菲 邢晨 叶润欣 周晋妤 冯印国 一、论文概述 1.1 背景 随着卫星遥感技术向高时间分辨率、高空间分辨率和高辐射分辨率方向的快速发展，空 间遥感与信息技术已经发展成为满足人类对海洋资源和环境不同尺度和不同层次连续、动态 的信息需求的必要手段。但是，在遥感数字化图像分发与处理中，普通城市的高分辨率遥感 镶嵌图可达几十 GB 的数据量，超大的数据量给卫星链路的带宽、图像数据的传输、存储、 共享、浏览和网络发布带来了时间和网络资源上的巨大压力。具体来说，首先，以文中的海 洋遥感与信息技术实验室为例，该室每天可接收和处理9 颗卫星资料，包括原始数据以及1 级、2 级、3 级等各种产品的数据和图像，数据量巨大。其次，为了为保证数据资源的长期 连续性和可靠性，这些图像及数据均需实施双备份，这样每天的数据量可超过30 GB 。因此， 如何将海量的遥感数据进行有效压缩和储存成为人们日益关注的问题。 目前常用的有损压缩方法有赫华颖基于不同小波基的压缩算法，李强的自适应标量、矢 量混合量化压缩方法以及周孝宽基于空间重采样的压缩算法。但对于遥感这类科学数据，应 该尽可能地保证数据的真实性和可靠性，因而无损压缩具有重要的意义。目前无损压缩有张 晓玲提出的遥感图像无损压缩编码以及耿则勋提出的水平与垂直预测相结合的无损压缩方 法。但这类压缩算法多是针对陆地航空或卫星遥感领域的。因此，针对海洋遥感图像数据的 压缩存储，本文比较研究了不同压缩算法对海表温度、叶绿素a 浓度等不同遥感产品在压缩 比方面的差异，提出了优化游程编码压缩算法。 1.2 游程编码 游程编码是压缩文件最简单的一种方法，它是把一系列的重复值用一个单独的值再加上 一个计数值来取代。其中，重复值相当于游程中的0/1 ，计数值相当于游程长度。这种算法 对于具有长重复值的串的压缩很有效。比如，0001111 的七位数据只需转换为0314 四位数 据。就海洋遥感图像数据而言，因为数据具有非负特征，且陆地信息全为0 ，当陆地面积较 大时，获得的压缩比较高。游程编码的流程图如下图所示： 图1 游程编码流程图 对于一个二进制文件，类似于游程中的0/1 序列，首先，需要建立一个存储变量（data ）， 一个计数器变量（num）且初值为1。将第一个数据读入存储变量，再读取第二个数据，如 果第二个数据与第一个数据相同，num 加 1，反之，将此时的num 存入新文件中并重置1， 读取第三个数据与第二个数据进行比较。重复这个流程直到压缩文件结束。例如，对于原始 数据100111，得到存储变量为101，计数文件为123。 1.3 优化游程编码 游程编码虽然简单，但是，当数据的连续重复性较差时，该算法会出现“病态”的情况， 如XYZ 三位数据反而会扩充成X1Y1Z1 六位数据。对于海洋数据而言，同一行的海洋水色水 温数值往往不具有连续性，而连续几行具有相同数值的情况更少，因此，需要对游程编码模 型进行优化。 考虑到海洋数据非负的特点，可取消游程编中区分压缩数据的最高标志位并将非连续重 复的数据取反，即变为负数，这样就可以通过正负来区分哪些是压缩数据哪些是非压缩数据 以此来避免非连续重复数据造成的“病态”情况。例如数据列111010101，采用游程编码得 到13011101110111，位数增加了五位，采用优化游程编码变为13 （-1）（-0 ）（-1）（-0 ）（-1） （-0 ）（-1），仅有九位数。优化游程编码压缩算法如下图所示： 图2 优化游程编码流程图 类似于游程编码压缩算法，首先，建立计数器变量（num）且初值为1。读取数据一和 数据二，如果第二个数据与第一个数据相同，num 加 1，读取第三个数据作为数据二与之前 的数据再进行比较；反之，若num 为1，将数据取反写入文件，若num 不为1，将num 和 当前数据写入文件， num 重置1。重复这个流程直到压缩文件结束。 1.4 实验结果 文章选取了广东海洋大学海洋遥感与信息技术实验室提供的 2011 年 5 月的 NOAA （National Oceanic and Atmosp