基于深度学习的天文图像无损压缩方法.pdf

摘要

随着信息技术以及半导体技术的快速发展，天文观测所使用的设备如

CCD/CMOS的分辨率也越来越高，产生海量的观测数据，为存储和传输带来了

巨大的管理挑战。

天文观测数据作为一种珍贵的科学数据，具有数据精度高，领域特殊性，

海量性以及时序性等特点，它记录了天文对象丰富的空间和时间变化信息。所

以，传统的有损压缩方法不适合天文观测原始数据领域的应用。现有的一些无

损压缩算法局限在单帧图像上的空间和时间冗余，不能够充分找到多帧数据之

间以及观测对象之间的冗余特征，因此，可以压缩的信息较为有限。针对上述

问题，本文提出了一种基于VAE深度学习的天文图像无损压缩方法，该方法利

用深度学习技术通过大量数据帧训练，从中找到帧之间的时空冗余信息，并挖

掘出观测图像的高层冗余特征（如观测对象的演化特征），因此可以达到较好的

压缩效果。本研究设计的方法不仅能实现图像中无符号整数像元的无损压缩，

还能够通过引入了可逆映射技术实现浮点数据的压缩，提供了一种低成本开展

对大规模高精度数据进行训练的方法。具体来说，本文的研究和创新包括：

1）基于VAE深度学习的方法（Bit-Swap）对天文图像进行无损压缩，并

能够达到较高的压缩比，与该领域的其他压缩算法如RICE相比，提高了约20%，

节省了0.0209元/MB的传输成本和0.1217元/MB的存储成本，具有明显的应

用效果；

2）在数据处理过程中优化了数据正态性预处理方法，解决了无损压缩过程

中深度学习的正态性的要求，优化后数据压缩率提高了约6%；

3）给出一般性天文图像浮点型数据的深度学习无损压缩方法，可以通过可

逆变化处理天文图像FITS文件中BITPIX类型：uint16，float32和float64，同

时该方法可以有效降低32位、64位及128位浮点型图像数据的训练成本。

综上，基于深度学习的压缩方法在压缩比优于其他方法。该研究不仅适用于天

文领域的海量分布式数据传输，也可以广泛应用于数据存储、归档、共享等环

节，为其它领域的相关研究提供借鉴和参考。

关键词：无损压缩;深度学习;天文图像;非对称数字系统

Abstract

XiaoyingLiu

AppliedStatistics

DirectedbyYingboLiu

Withtherapiddevelopmentofinformationtechnologyandsemiconductor

technology,theresolutionofdevicesusedinastronomicalobservations,suchas

CCD/CMOS,isalsoincreasing,generatingmassiveamountsofobservationdataand

posingsignificantmanagementchallengesforstorageandtransmission.

Astronomicalobservationdata,asapreciousscientificdata,hasthe

characteristicsofhighdataaccuracy,domainspecificity,massivequantity,and

temporalcharacteristics.Itrecordsrichspatialandtemporalvariationinformationof

astronomicalobjects.Therefore,traditionallossycompressionmethodsarenot

suitableforapplicationsinthefieldofastronomicalobservatio