基于文件拆分和缓存预测的日志文件传输算法 journal file transmission algorithm based file splitting and buffer memory prediction.pdfVIP

东信北邮信息技术有限公司专栏 E A S T C O M - B U P T I N F O R M AT I O N T E C H N O L O G Y C O . , LT D . C O L U M N 电信工程技术与标准化 基于文件拆分和缓存预测的日志文件传输算法* 1,2 1,2 马赛牧 王晶 （1 北京邮电大学网络与交换技术国家重点实验室，北京 100876; 2 东信北邮信息技术有限公 司，北京 100191） 摘　要　当今的云计算平台和大型网站在运行时都会产生大量的日志文件，这些日志文件一般都具有收集分析的价 值，所以在日志文件的收集过程中就出现了大日志文件的传输问题。本文要解决的问题就是如何使日志文件 能够快速的传输到接收端。为此本文在研究了当前已经有的大数据传输办法之后，针对日志文件提出了与传 输协议无关的新算法：文件拆分和预测算法。该算法主要由两部分组成：首先对日志文件进行拆分，拆分成 包含描述性信息的文件和包含数据的文件，消除了文件中的冗余信息；然后在传输过程中通过预测接收端缓 存的数据来达到消除传输过程中的冗余信息的目的。经过实验检验，本文设计的算法能够将实际传输的数据 量降低90%以上。 关键词　文件传输；fingerprint；消除冗余；云计算 中图分类号 TP393 文献标识码 A 文章编号 1008-5599（2013）08-0071-08 各个互联网平台在正常工作时都会产生大量的运 数据传输量，文献 [2] 是在骨干网上通过选择传输路径 行日志，尤其是大型的开放云平台和电子商务网站，云 来实现大文件的传输，主要适用于有多个存储转发节点 平台的管理者一般都要收集备份这些日志以备监控平 的网络，通过对网络建模可以使用最大流 [3] 的算法来进 台运行情况，以及分析用户行为。大量的日志不仅占用 行传输，文献 [4] 是通过检测网络缓存中数据的相似性 很多存储空间，而且更重要的是在传输这些文件时非常 来消除网络传输的冗余。 的低效，很多平台和网站需要周期性的将日志文件通过 上述文献中的方法都更侧重所传输数据的通用性， 网络传输备份到数据中心。在这个过程中，如何在现有 在日志文件的传输方面，由于日志文件的特殊性，比如 带宽条件下提高数据传输效率就成为了一个需要解决 其日志文件格式相对统一固定，因此在使用上述文章中 的问题。 方法传输日志文件时，都拥有进一步优化的空间。文献 目前业内在大数据传输方面已经做了一些工作。 [2] 是在提高带宽利用率做出了贡献，但并不能减少传输 Zohar 等人 [1] 实现了一种数据接收端驱动的传输模式， 量和消除传输冗余。文献 [1] 主要的使用场景是接收端 接收端通过预测传输文件的下一段数据来减少网络上的 已经拥有部分的数据，通过预测来避免发送方发送接收 收稿日期 ：2013-07-16 * 基金项目 ：国家 973 计划项目（No. 2013CB329100, 2013CB329102）；国家自然科学基金（No. ；长江学者和创新团队发展计划资助（No. IRT1049）。