支持大规模流数据处理的在线mapreduce数据传输机制-吉林大学学报.pdf

( ) 第 卷 第 期 吉 林 大 学 学 报 理 学 版 53 2 Vol.53 No.2 年 月 ( ) 2015 3 JournalofJilinUniversit ScienceEdition Mar 2015 y : / doi10.13413 .cnki.dxblxb.2015.02.23 j j 支持大规模流数据处理的在线 MaReduce数据传输机制 p , , , , , , 魏晓辉 李 聪 李洪亮 李 翔 刘圆圆 李丽娜 庄 园 ( , ) 吉林大学 计算机科学与技术学院 长春 130012 : 、 , 摘要 针对流数据规模参差不齐 流量动态变化且突发性较强的特点 提出一种可伸缩的动 , / , 态 计算模型 支持大规模动 静态数据在线处理 基于 推送方式 利用 MaReduce . Event p , , Nett底层异步通信方式等技术 建立在线MaReduce数据传输机制 进一步实现其原型程 y p , , 序 解决了大规模分布式计算程序的快速在线传输和数据分发等问题 支持流数据动态分发 , 机制 为动态 模型提供支撑 与 系统的传统 管道传送方式 MaReduce . HadooOnline Socket p p , , 相比 该方法能有效提高作业之间数据的传送效率 从而提高大规模流数据处理的实时性. : ; ; ; 关键词 大数据 流数据处理 MaReduce模型 数据传输机制 p 中图分类号: 文献标志码: 文章编号: ( ) TP391