一种基于Hadoop的视频大数据分布式解码方法冯强概要.pptVIP

一种基于Hadoop的视频大数据分布式解码方法冯强 iiec.cqu.edu.cn 目录 总结 实验结果分析 解码方案描述 研究现状 项目简介 项目简介 项目名称：HadoopCV Hadoop + Computer Vision 项目任务 存储海量视频数据； 基于Hadoop处理视频数据； 视频大数据 + 分布式解码 项目简介 视频数据 IplImage OpenCV 算法处理 Mapper Reducer 视频数据 IplImage 算法处理 项目简介 系统边界 目录 总结 实验结果分析 解码方案描述 研究现状 项目简介 研究现状 单机解码 使用单一计算节点进行解码，数据存储和解码都在本地完成，目前流行的视频播放软件均采用这种模式 优点：架构简单，无需提供额外的视频管理机制，即用即解； 缺点：解码效率受节点配置影响，拓展性较差，数据安全性也较差，对大数据的处理能力不足。 分布式解码（转码） 利用分布式系统进行解码，视频数据先分割成适合分块处理的大小，然后上传到分布式文件系统上。需要进行解码的时候，再将数据下载到本地，通过第三方解码库的调用进行解码，处理完成之后重新上传。这种解码模式数据存储在分布式文件系统上，但解码的时候需要数据的下载和上传。 优点：利用了分布式计算框架，通过并行处理提高了解码效率； 缺点：没有充分利用分布式文件系统存储的优点，数据上传和下载的过程增加了系统开销，另外数据需要进行分割之后上传，需要提供相应的管理机制。 研究现状 基于Hadoop的视频大数据分布式解码方法： 架构简单，无需提供额外的视频管理机制； 利用了分布式计算框架，通过并行处理提高解码效率； 研究现状 视频压缩原理 原始帧 关键帧 GOP 解码需要： 头数据； 关键帧； 研究现状 Hadoop直接处理视频数据 问题一：帧不完整 问题二：分割后缺少关键帧 问题三：分割后缺少头数据 目录 总结 实验结果分析 解码方案描述 研究现状 项目简介 解码方案描述 数据预处理： HDFS设计之初是为了处理文本大数据，但只要被写入的数据很少被改动，并且对数据的操作主要是大规模的流式读取和小规模的随机读取，原则上HDFS就可以存储任何类型的数据，因此，视频数据可以不加任何处理的上传到HDFS之上。 数据物理分割： 视频文件在上传到HDFS之后，根据用户设定的Block大小，默认顺序分割成64M大小的数据块，分布式的存储于集群中的DataNode之上，此时，所有大于64M的文件都被物理分割。NameNode通过维护文件系统的元数据（metadata）对文件进行管理，而HDFS面向用户的接口又是一个完整连续的文件，HDFS对用户隐藏了分割的细节。 解码方案描述 数据逻辑分割： Block:物理分割数据块； Split:逻辑分割数据块； 解码方案描述 Hadoop直接处理视频数据 问题一：帧不完整 问题二：分割后缺少关键帧 问题三：分割后缺少头数据 问题原因： Hadoop不知道数据内部组织方式； 按字节分割，不是按照帧的位置进行分割； 解决问题关键： 如何进行按照帧的位置进行分割 解码方案描述 数据逻辑分割： Split定义： 依然按照Block起止位置进行定义，数据大小同Block大小； Split读取规则： 向前读取； 丢弃第一个关键帧之前数据，确定Split的真正起始帧位置； Split的终止帧位置设定在Block结束字节位置附近，定义在结束字节位置之后的第一个I帧； 解码方案描述 数据逻辑分割： 问题一：帧不完整 问题二：分割后缺少关键帧 解码方案描述 分布式解码： FFmepg: FFmpeg是一个开源免费跨平台的视频和音频流方案，可以运行在windows和linux上，包括一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。 Fuse-dfs: fuse-dfs是hadoop项目自带的一个功能模块。主要实现把dfs上的数据映射至本地指定mount点。由于现存的软件无法直接使用hdfs上的数据，所以此时可以借助fuse来实现本地文件系统的映射。 解码方案描述 分布式解码： Split确定数据边界； RecorderReader循环读取； 解码数据； FFmpeg解码： 支持本地文件接口； 不兼容HDFS； Fuse-dfs挂载HDFS： 虚拟本地文件接口，提高兼容性； 隐藏网络传输细节，通过网络传输 视频头数据； 解码方案描述 分布式解码： 问题三：分割后缺少头数据 解码方案描述 输入/输出： 解码方案描述 输入/输出： FrameNumWritable：标识帧位于视频帧序列的播放位置，以及帧对于的视频文件路径； ImageWritable: 标识帧的图像数据； Text：图像数据Hash过后的文本数据； Vide