核聚变实验数据采集系统中数据压缩算法的研究.pdfVIP

核聚变实验数据采集系统中数据压缩算法的研究 朱 琳 罗家融 田一海 中国科学院等离子体物理研究所 合肥 230031 （e_mail:zhulin@） 摘要 托卡马克受控热核聚变是人类本世纪替代煤和油的新能源，中国科学院等离子体物理研 究所的HT-7超导托卡马克[1]实验装置其规模和参数介于中小型装置和堆芯装置之间，承担了 聚变工程中有关堆芯连续运行的物理和工程等重大课题的研究。随着计算机数据采集的技术 的发展，采集精度和采集数据量都得到了飞速的增长，除了硬件设备、系统软件的支持外， 需要解决的一个重要问题是海量数据的存储、处理和传输，而解决这一问题的关键手段乃是 数据压缩技术。本文在分析当今普遍使用的压缩算法后，采用了适合核聚变实验装置数据采 集和发布系统的LZO算法，并且给予具体应用，同时给出了性能评估，希望能对其它类似情 况的数据压缩算法提供一定的参考价值。 关键词： 核聚变数据采集和发布 压缩算法 LZO 前言 HT-7 是国内第一个超导托卡马克核聚变装置, 自于 90 年代初期建成以来，中国科学院 等离子体物理研究所已在该实验装置上进行了多次实验，获得了大量宝贵的实验数据和资料 以及多项核聚变物理实验领域里的重大理论成果[2]。近年来随着对物理实验精度和深度的要 求不断提高，希望能够进行控制或观测的物理量的增多，实验数据采集量的扩大，旧的实验 数据采集和发布系统的性能已不能满足现在的实验要求了，数据传输速度和存储能力成为了 制约发展的瓶颈，在硬件系统和系统软件以及应用软件升级的基础上，数据压缩就迫在眉睫。 在分析诸多压缩算法后，采用了适合聚变实验的LZO压缩算法，本文给出了详细的说明。 1． 压缩算法的介绍 人类社会已进入信息时代，信息己成为科技、生产发展的原动力，人类赖以生存、发展 的三大资源(材料、能源、信息)之一。现代科学技术发展的特点之一是既高度分化，又高度 综合(以高度综合为主)。需要解决的一个重要问题是海量数据的存储、处理和传输，而解决 这一问题的关键手段乃是数据压缩技术。C.E.Shannon 在创立信息论时，提出把数据看作是 信息和冗余度的组合。数据之所以能够被压缩，是因为其中存在各种各样的冗余数据。压缩 可以看成是一种变换，数据的恢复(解压缩)则被认为是一种反变换，这种变换的方法，又称 为编码技术。 数据编码技术大致经历了两个发展阶段年为基础理论研究阶段, 年为实用化阶段。在基础理论研究阶段，两位以色列学者于 1977 年发明了 LempelZiv 压缩技术，介绍了查找冗余字符串和将此字符串用较短的符号标记替代的技 术，并做了一系列的实验工作。此外 Huffman也做出了不可磨灭的贡献，他提出的方法是把 固定量的字符转换成可变量的压缩输出字符,它对经常出现的值赋于少量的字节，给不常出 现的值赋予较多的字节。 1.1 压缩算法的分类 数据压缩方法按照分类的出发点不同，可以有不同的分类结果。根据解码后数据是否 能够完全无丢失地恢复原始数据来分，可以分为两类： (a) 无损压缩:无损压缩也叫做无失真编码，冗余度压缩，炳编码，信息保持编码，等等。 冗余度压缩的工作机理，是去除(至少是减少)那些可能是后来插入数据中的冗余度，但 这些冗余值在压缩时是可以重新插入到数据中的，因此冗余压缩是可逆的过程。例如， 需压缩的数据长时间不发生变化，此时连续的多个数据样值是会重复的。这时若只存储 不变样值的重复数目，显然会减少数据量，且原来的数据是可以从压缩后的数据中重新 构造出来，信息没有损失，亦称无损压缩。典型的冗余压缩法有 Huffman 编码、ShaMon —Fano 编码、算术编码、游程编码、Lempel—ziv 编码。冗余压缩法由于不会产生失真， 因此在多媒体技术中一般用于文本、数据的压缩，它能保证完全地恢复原始数据。但这 种方法的压缩比较低，如 Lz 编码、游程编码、Huffman 编码的压缩比一般在 2:1—5:1 之间。 (b) 有损压缩:有损压缩有失真压缩，信息论中叫墒压缩。但是实际的原始取样值不可能精 确恢复，信息受到