分布式视频转码系统的设计与实现-软件工程专业论文.docx

万方数据 万方数据 Classified Index：TP311 U.D.C.: 621.3 Dissertation for the Master’s Degree in Engineering THE DESIGN AND IMPLEMENTATION OF A DISTRIBUTED VIDEO TRANSCODING SYSTEM Candidate： Li Yafei Supervisor： Professor Huang Hujie Associate Supervisor: Senior Engineer Mu Dongbo Academic Degree Applied for： Master of Engineering Speciality： Software Engineering Affiliation： School of Software Date of Defence： June, 2014 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工程硕士学位论文 哈尔滨工业大学工程硕士学位论文 摘 要 随着网络基础设施和视频技术的发展和完善，流媒体应用在互联网应用中 的比重逐渐加大。视频的编码格式主要的有 MPEG、H264、DivX、WMA、RM 等，封装格式主要有 avi、ps、ts、mov、mkv、mpg 等，而不同的播放器对格 式的支持也不同，因此不同终端对视频流格式也有着特殊的需求。提高转码性 能，成为了流媒体技术的重要课题。 考虑到流媒体应用大都存在计算压力大、耗时长的问题，我们设计了一个 分布式流媒体计算框架，形成一套完整的分布式转码解决方案，具有高转码效 率、高鲁棒性的特点。 本系统使用 Java 语言，基于当前最为流行的分布式计算框架 Hadoop 开发， 在设计上分成七个模块：转码模块、传输模块、存储模块、异常处理模块、负 载均衡模块、视频拆分合并模块、后台接口模块等。转码模块通过封装 ffmpeg 和 mencoder 的转码功能，实现所有视频格式的转换，当大量视频转码任务提交 到集群时，视频拆分模块会按照一定的策略自动把视频拆分并通过传输模块分 配到集群中的不同节点上，然后利用集群系统计算能力和已有视频转码开源软 件实现多视频同时在线转码。集群中各节点的转码任务分配和异常处理分别由 负载均衡模块和异常处理模块负责处理，来保证系统的高效性和稳定性。 经过测试，证明本系统完成了预期的对视频实时高效的转码任务，并且具 有较好的鲁棒性，封装性。转码的具体实现对外部透明，可扩展性高，有效的 降低了视频转码所需的时间。 关键词：分布式；视频转码；Hadoop；性能优化 -I- Abstract With the network infrastructure and video technology development and improvement of Internet streaming media applications in the gradual increase in the proportion of applications. The main video encoding formats are MPEG, H264, DivX, WMA, RM, etc., packaging formats are mainly avi, ps, ts, mov, mkv, mpg, etc., and the player supports different formats for different, so different terminal video streaming format also has special needs. Improve transcoding performance has become an important topic of streaming media technology. Taking into account the existence of streaming media applications mostly calculated pressure, time-consuming problem, we designed a distributed computing framework for streaming media to form a complete set of distributed transcoding solutions, transcoding with high efficiency, high robu