基于FPGA的PCIe数据压缩存储卡.pdfVIP

摘要

随着云时代的来临，数据压缩技术在各个领域中的应用也越加受到重视，在数据传输中

能够提升传输速率，降低传输延迟，在文件存储中能够提高存储介质的利用率，降低存储成

本。Deflate作为一种经典的无损压缩算法，通过结合字典编码与Huffman编码，对原始数据

进行二次压缩，使得文件的大小得到有效的降低。Deflate算法虽然具备优异的压缩性能，但

在压缩过程中需要长时间占用内存，并消耗大量的CPU算力，以软件方式实现的该算法其运

行效率并不理想，不能满足云时代背景下高带宽、低延迟的需求。

本文针对CPU架构下Deflate算法实时性差的问题，提出了一种基于FPGA的异构加速

方案。设计中利用了FPGA结构灵活、算力强大的特性，对Deflate压缩算法进行了并行加速

实现。通过限制字符串匹配范围，以牺牲部分压缩率为代价，保证了各压缩引擎能够无耦合

地对各Block进行并行压缩。针对单个Deflate压缩引擎的并行特性，提出了一种动态深度哈

希表结构，并配合控制模块以及数个匹配单元，对多个起始位置处的字符串进行并行匹配。

针对字典编码后的三元组结构，设计了高效的Huffman编码与Deflate组包模块。

本文使用VerilogHDL对Deflate压缩引擎进行了实现，最高运行频率为265.11MHz。当

系统频率为250MHz时，单个Deflate压缩引擎对Silesia语料库的压缩速度约为347.5MB/s，

相较IntelCorei9-9900k@5GHz下的软件实现而言提升了3倍左右。设计实现的数字电路在

牺牲部分压缩率的条件下，使得Deflate压缩算法的速度得到了大幅提升，能够满足云时代下

的数据传输与存储的高带宽、低延时需求，达到了本课题的研究目的。

关键词：无损压缩，Deflate，字典编码，Huffman编码，FPGA

ABSTRACT

Withtheadventofthecloudera,datacompressiontechnologyplaysanincreasinglyimportant

roleinvariousfields.Thistechnologyisusedindatatransmissionfieldtoincreasethetransmission

rateandreducetransmissiondelay.Anotherfieldwheredatacompressionusedisdatastorage,which

usestoimprovestoragemediautilizationandreducestoragecosts.Asaclassiclosslesscompression

algorithm,Deflatealgorithmcompressestheoriginaldatatwicebycombiningdictionaryencoding

andHuffmanencoding,whicheffectivelyreducesthefilesize.Thoughtheexcellentcompression

performancetheDeflatealgorithmpossess,thelargememoryspaceoccupationandCPUcomputing

powerconsumingduringcompressionprocessareintolerabledrawbacks.

DuetothelowperformanceoftheDeflatealgorithmsoftwareimplementation,thispaper

proposedaheterogeneousaccelerationschemebasedonFPGAtomeettherequirementofhigh

bandwidthandlowlatencyofthisalgorithm.Thisdesignimplement