面向流媒体的Hadoop调度策略研究.PDFVIP

小 型 微 型 计 算 机 系 统 2014年4月 第4期 Joumal ofChineseComputerSystems VOl_35 No．4 2014 面 向流媒体的Hadoop调度策略研究 孙连生，王 雷，黄承真 (中国科学技术大学 自动化系网络传播系统与控制安徽省重点实验室，合肥230027) E—mail：sunls@ mail．ustc．edu．Cn 摘 要：流媒体数据的分布式处理的研究在流媒体处理领域具有重要的意义，电信网、广播 电视网、计算机通信 网的不断融合 促进了媒体数据的广泛传播，随着数据量的不断增大数据处理的速度变慢 ，而传统的多处理器并行计算难以满足海量流媒体数 据的并发处理需求．使用当前流行的开源分布式处理系统 Hadoop对流媒体数据进行分布式计算将大大提高流媒体数据的处 理速度，虽然Hadoop常用于大数据企业类业务数据处理，但其对实时数据处理支持较差．因此对Hadoop的调度和负载策略进 行研究，通过改进Hadoop的实时调度和负载均衡策略，使其可以满足流媒体处理的实时性、并发性和处理速度的要求．实验结 果表明提出