HyperCompression低延迟深度压缩技术白皮书.PDF

HyperCompression® 低延迟深度压缩技术白皮书 北京华夏创新科技有限公司 HyperCompression 低延迟深度压缩技术白皮书 目 录 1. 数据压缩及字节缓存基本原理 1 2. APPEX 低延迟深度压缩技术的独特优势 2 2.1 通过深度压缩达到最大压缩比 2 2.2 超低延迟引入 3 2.3 字节缓存双向性 3 2.4 设备自动检测 3 3. 用户案例：企业总部和分支机构之间专线加速 4 1 HyperCompression 低延迟深度压缩技术白皮书 数据压缩和字节缓存是广域网优化的关键技术，其目的是减少广域网链路的数据量，从而提 高链路的有效吞吐。两项技术的一个共同点是都需要双边部署，由数据发送方对数据进行相应处 理以减少数据量，并由接受方将数据还原。两项技术的另一个共同点是数据无损性：即接受端还 原后的数据保证跟发送方处理前的数据完全一致。所以对通信双方的应用层，这一过程完全是透 明的。 1. 数据压缩及字节缓存基本原理 数据压缩也被称作基本压缩，或无损压缩，一般采用LZ 系列压缩算法。数据压缩具有自包 含性：即对端解压缩方只根据数据包本身即可进行解压还原，不需要其它任何信息。压缩比因数 据类型而异：文本数据压缩比最大，各种网页、Windows office 文件(Excel 、word 等等) 、PDF 其 次，对多媒体和已压缩数据基本无效。字节缓存技术又叫“字典缓存”或“超级压缩”等名称。 它通过缓存的方式在内存和硬盘中记录下流经的数据流，并以一定的大小（例如32 字节、64 字 节或128 字节等）为最小单位建立易于查询的索引。当以后流向广域网链路的数据流出现了大于 最小单位的相同数据时，可以将该数据替换成某个更短的符号。远端的设备能够将相应符号还原 成原始数据。 字节缓存与数据压缩的不同之处是，字节缓存不具有自包含性。要解开压缩数据，对端设备 必须引用以前记录的历史缓存信息。为达到这一目的，字节缓存技术需要连接两端的缓存完全同 步，于是需要在每条广域网链路两端的加速设备之间建立缓存数据同步机制。对比于数据压缩， 字节缓存的另一优势是即使对本身不具可压性的数据类型，如多媒体或已压缩数据，只要曾经传 输过相同或类似数据，字节缓存即可以提取出全部或部分相同数据，从而大幅缩减需要传输的数 据量。字节缓存技术通过使用大量的缓存信息（包括该数据流本身以前的数据历史和其他数据流 的数据历史）来压缩当前数据，有时能够达到非常高的压缩比。 1 HyperCompression 低延迟深度压缩技术白皮书 图1.字节缓存工作原理示意图 2. AppEx 低延迟深度压缩技术的独特优势 尽管所有广域网厂商开发的数据压缩和字节缓存功能的基本工作原理类似，但不同的设计和 实现收到的效果差别很大。AppEx 的低延迟深度压缩技术将数据压缩和字节缓存紧密融合，为用 户带来最好的实际应用效果，相对于一般实现具有有以下优势： 2.1 通过深度压缩达到最大压缩比 AppEx 首先使用全部缓存信息及字典索引对超过64 字节的长数据模式进行快速智能匹配， 再利用局部缓存信息匹配短数据串（超过 8 字节即可完成匹配），最后再对结果进行LZ 压缩。 通过三级压缩过程，数据的冗余成分被完全提取。实际的使用对比显示 AppEx 能够为用户带来 最大的压缩比。 2