基于Hadoop云计算平台的分布式转码方案①.PDF

计 算 机 系 统 应 用 2016 年 第 25 卷 第 8 期 ① 基于Hadoop 云计算平台的分布式转码方案 2 1,2 2 孙建伟 , 付 雷 , 于 波 1( 中国科学院大学, 北京 100049) 2( 中国科学院 沈阳计算技术研究所, 沈阳 110168) 摘 要: 在新媒体视频业务快速发展的今天, 传统单机视频转码能力已经出现瓶颈. 在 Hadoop 云计算平台的研 究基础上, 结合当前主流的音视频处理工具 FFmpeg, 提出了一种新的视频转码方案. 该方案通过使用 Hadoop 两 大核心: HDFS(Hadoop Distributed File System)和 MapReduce 编程思想, 进行分布式转码. 同时, 还详细地介绍和 设计了分布式转码的具体流程. 最后实验结果表明, 该分布式转码方案在效率上有较大提高. 在实验中, 视频的 分段大小也影响着视频转码的时间. 随着分段大小从小到大, 同样的视频转码时间变化却是由高降低再升高. 从 实验数据来看, 相对于其他的分段, 分段大小为 32M 的时候, 转码时间最佳. 关键词: 视频业务; Hadoop; MapReduce; FFmpeg; 分布式转码 Distributed Transcoding Scheme Based on Hadoop Cloud Computing Platforms 2 1,2 2 SUN Jian-Wei , FU Lei , YU Bo 1(University of Chinese Academy of Sciences, Beijing 100049, China) 2(Shenyang Institute of Computing Technology, Chinese Academy of Sciences, Shenyang 110168, China) Abstract: With the rapid development of new media video services today, traditional standalone video transcoding capability has been a bottleneck. This paper proposes a new video transcoding scheme based on the research on Hadoop cloud computing platform and the current mainstream audio and video processing tool FFmpeg. This scheme fulfills distributed transcoding method by using two core components in Hadoop: HDFS(Hadoop Distributed File System) and the programming ideas of MapReduce. Meanwhile, the paper also describes in detail the specific processes and design of distributed transcoding. Finally, experimental results show that The distributed transcoding scheme has greatly improved