一种网络冗余流量消除算法.pdfVIP

第 47卷 第 4期 西 安 交 通 大 学 学 报 Vo1．47 NO．4 2013年 4月 JOURNALOFXI’AN JIAOTONG UNIVERSITY Apr．2013 DOI：10．7652／xjtuxb201304005 一 种 网络冗余流量消除算法 脱立恒 ，倪宏 ，刘学 (1．中国科学院大学，100049，北京；2．中国科学院声学研究所 国家网络新媒体工程技术研究中心，100190，北京) 摘要 ：针对大量数据片段冗余传输造成 网络带宽浪 费严重的问题，提 出了一种基于动态查找表 的 冗余流量消除(DYNATABIE)算法。该算法动态统计流量 中以不同字节值开头的数据块的冗余 率，在保证 目标块抽样率的情况下，选取冗余率高的数据块的首字节值为标识，实时更新查找表 ，根 据查找表 中的标识从数据包中选 出数据块，对 已经传输过的冗余数据块进行简单编码 ，用编码数据 替换原冗余数据片段 ，再对消除冗余流量的数据 包进行传输 。对 比基 于最大值选择和基于静 态查 找表选择等冗余流量消除算法，DYNATABLE算法能跟踪 网络数据的动态变化，带来更高的字节 节省 ，平均字节节省率提 高到 21．8 。 关键词 ：网络 ；冗余流量 ；消除；抽样 中图分类号 ：TN914．42 文献标志码 ：A 文章编号：0253—987X(2013)04—0022—06 AnAlgorithm forRedundantTrafficElim ination TUO I．iheng ．NIHong ．IIU Xue。 (1．UniversityofChineseAcademyofSciences，Beijing100049，China；2．NationalNetworkNew MediaEngineering ResearchCenter，InstituteofAcoustics，ChineseAcademyofSciences，Beijing100190，China) Abstract：A dynam iclookuptablealgorithm forredundanttrafficelimination，DYNATABLE in short， iS proposed to avoid serious waste of network bandwidth from redundant traffic． DYNATABLE dynamicallycountsrepeattimesofdatachunksbegunwith differentbytevalues andusesthem asredundancyratesofdifferentbytevales．DYNATABI，E selectsthevaluesof byteswithhigherredundancyrateasmarkers，andupdatethem inthelookuptable．Thenchunk selection algorithms select data chunks according tO the markers in the lookup table． DYNATABIE encodestheredundantblocksin shortform，and then transfersthe datafrom which redundant blocks have been eliminated． Comparisons with the M AXP and the SAMPIEBYTE show thattheDYNATABLE getsahighbytesaving，andimprovestheaverage bytesavingrateto21．8％． Keywords：network；redundancytraffic；elimination；sampling 随着网络流量 的快速增长，流行度高 的内容在