OpenHW12 开源硬件与嵌入式计算大赛参赛计划书-实时压缩.docVIP

OpenHW12 开源硬件与嵌入式计算大赛 参 赛 计 划 书 项目名称：压缩需要 64 kB 的内存压缩Zynq核心芯片；512 MB DDR3内存256 Mb Quad-SPI闪存 4 GB SD卡 板上USB-JTAG下载接口 10/100/1000 以太网接口 USB OTG 2.0 和 USB-UART PS PL I/O扩展口 (FMC, Pmo, XADC) 等。而Zynq是一个PS(processing system, 双核A9 + 存储管理 + 设)+?PL(programable Logic) 结构，，ynq的开发和普通的ARM 芯片开发一样ynq的开发和普通的 芯片开发一样PS单元是可配置，因而硬件信息是不固定的ynq芯片的功能，本项目组的选择有一些方面就是基于这个原因。 2、应用前景： Lzo算法其实并不常见，很多人甚至没有听说过，但是这并不代表它没有工程应用价值，有资料证明，该算法早已应用在如下几个方面： 1）被美国NASA火星漫步者探测计划使用； 2）用于压缩HT-7超导托马克核聚变实验数据； 3）应用于云计算（Cloud computing）基础平台Hadoop(分布式系统基础架构充分发挥Z集成ARM和FPGA两类器件的优势系统原理和技术特点James Storer 和Thomas Szymanski在Lz77基础上将算法改进，提高了压缩率，提出了Lzss算法。后来，Lempel-Ziv-Oberhumer又在Lzss的基础上将算法做了改进，提高了压缩速度，进而提出了Lzo算法。 图1 Lzo压缩格式（重复长度小于8） 图2 Lzo压缩格式（重复长度大于8） Lzo算法核心思想源于Lz77,采用Hash方式加速搜索过程，最后按照一定格式进行编码“Lz77”编码的结果，具体编码格式如上图所示。 Lzo算法的大致处理过程包括Hash计算，匹配比对，编码输出等，下面给出了Lzo压缩的软件流程： 图3 Lzo压缩软件流程 2、硬件设计（压缩核）结构： 图4 整体硬件结构（压缩核） 如上图给出了实现Lzo压缩的整体硬件结构，如图中所示的：RAM1,RAM2有两个作用，一是交替缓存接口传输过来的待压缩的数据，实现乒乓操作，加速处理过程；二是作为Lzo算法本身在进行搜索比对时的数据源；Dictionary（RAM3）用于存储字符在文件中所处位置（指针），其中Dictionary（RAM3）的地址是Hash函数计算出来的值，采用Hash函数目的是加快搜索功能；RAM4,RAM5用于存储压缩后的数据，供接口模块来读取数据，同样采用了乒乓操作，加速整体的处理过程；寄存器用于临时缓存来自RAM1或RAM2中的数据，供Lzo压缩模块提取数据源，同时寄存器动态的调整已经压缩处理过的字符，从RAM1或RAM2中取数据补充数据源，这样能使整个处理过程连续起来，起到一定的加速作用；Lzo压缩模块用于压缩寄存器传输过来的数据源，是本项目设计的核心部分。 图5 Lzo压缩模块简单示意 如上图所示，给出了Lzo压缩模块的内部简单示意，如图中所示的Hash计算，用于对输入的字符处理产生Hash值；Dictionary用于存储Hash值；碰撞处理，用于处理Hash过程中产生的碰撞问题，该问题主要是由于Hash函数设计所致，一般有效的处理方法是值偏移和链表存储；匹配比对，用于匹配重复字串或产生匹配信息；编码，用于对匹配信息编码(结合图1和图2)，形成最终的压缩数据。 Lzo模块的处理过程大致如下：对待压缩的字符做Hash处理；保存Hash值至Dictionary；判断Hash值是否为空，是否发生匹配，是否发生碰撞，并作相应的处理；若发生匹配，搜寻最大匹配长度，并对匹配结果编码，若未发生匹配仍将新字符编码。 其中Hash算法采用4字节依次计算的方式并存入字典中，其中字典的索引为hash函数计算出来的值，索引处存放的内容是4字符中第一个字符在字符串中所处的位置，当某两次hash计算出来的值相同时，表示可能匹配（主要是hash函数设计的会导致碰撞，不过会有处理机制，在此不赘述）例如abcdefgabcd……，如index=hash(a,b,c,d)，取出hash值处的索引，到相应的索引处取出字符比对便可确定最终的匹配长度，由此可见，hash函数可以加快搜索过程，如下图： 图 6 Hash过程 如上，取出1处的a和8处的a比对，发现相同，继续取出2处的b和9处的b比对，