VIDA分布式视频处理框架产品白皮书.PDFVIP

VIDA 分布式视频处理框架产品白皮书 文档名称 Vida V1.0 分布式媒体处理框架产品白皮书 发布者 成都索贝数码科技股份有限公司 日期 2018-9-28 版本 Version 1.0 版权所有 © 2017 Chengdu Sobey Digital Technology Co., Ltd. 保留所有权利。 目 录 第一章 概述 2 第1 节 背景 2 第2 节 目标 2 第二章 VIDA 分布式视频处理框架 3 第三章 VIDA Grid 存储系统 4 第1 节 系统架构 4 第2 节 产品特性 4 第四章 VIDA MapReduce 计算系统 7 第1 节 分布式并行视频处理耗时构成 7 第2 节 整体处理效率计算 8 附录：测试记录 9 第1 节 测试配置 9 第2 节 操作步骤 10 第3 节 测试数据 10 1 第一章 概述 第1节 背景 随着时代的发展，对视频大数据的存储、分析和挖掘的需求已摆在媒体行业的面 前。视频数据的数据量大、传输负载重、计算耗时等特点，使得传统的单节点、多任 务的处理办法难以满足高效快速处理的需求。特别是针对视频的单一处理任务，解决 的办法有限。 对于视频的单一处理任务，处理思路一般集中在两点  并行化计算过程  提高文件系统的读写效率 以上两种方式都可以在一定程度上提升视频处理倍数。但若是不改变以往视频处 理框架和文件存储方式，对于100Mbps~1500Mbps 量级的广电HD/UHD 视频素材，处理 速度达到一定水平后就会触及瓶颈。 原因在于节点的增多也使得分布式处理过程中分片、传输、拼接过程消耗增大， 消耗将抵消多节点计算提升的效率，也就是说无法简单地通过增加系统中节点来继续 提升处理效率，如何突破这一瓶颈成为了媒体行业很有研究意义的课题。 第2节 目标 索贝公司在上述背景下提出了VIDA 分布式视频处理框架，主要目的是突破单一视 频处理任务瓶颈，充分发挥分布式结构优势，实现视频计算平台的性能随节点 “准线 性”扩展，最终实现数十倍乃至上百倍的高码率处理效率；另一方面该框架也提供更 加适合视频存储、具有更高可靠性和扩展性的存储能力。 2 第二章 VIDA 分布式视频处理框架 VIDA 分布式视频处理框架由多个超融合架构组成，框架在逻辑上分为VIDA MapReduce 计算系统和VIDA Grid 存储系统，如图1 所示。 图 1 架构示意图  VIDA Gid 存储系统： 由视频对象和存储节点构成，一方面视频对象经过时域上的划分后，各时段内容 和不同码率的视音频文件存储在不同节点中，以快速地不同场景下提供对应码流内 容。  VIDA MapReduce 计算系统： 将多个融合架构中的计算核心汇聚起来并进行有效管理，用于分布式视频计算。 3 第三章 VIDA Grid 存储系统 VIDA Grid 分布式视频对象存储系统，是一个专门针对视频打造的，具有高性能、 高可用、高扩展特点的对象存储系统。VIDA Grid 针对视频特性综合了视频文件格式、 对象存储、高性能并行计算等多方面的技术。VIDA Grid 作为业内首款面向视频处理的 分布式对象存储系统，既具有对象存储的优势，也拥有索贝视频技术的加成，使存储 理解视频文件，将显著提高视频制作效率，可广泛应用于广电媒资、高性能计算、数 据中心、互联网运营和大型企业等各行业领域，助力超高清