基于Hadoop视频大数据处理技术冯强.ppt

iiec.cqu.edu.cn Company Logo Company LOGO iiec.cqu.edu.cn 基于Hadoop的视频大数据处理技术冯强 iiec.cqu.edu.cn 目录 总结 下一步要解决的问题 当前问题及解决方案 Hadoop原理简介 项目简介 项目简介 项目名称：BigIVA Big Video Data + Intelligent Video Analysis 项目任务 海量视频存储 提供智能分析（如人脸检索、视频摘要生成） 项目简介 问题引入： 原始视频 25帧/s 算法处理后 13帧/s 项目简介 面临问题： 分辨率：720 x 480 帧率：25帧/s, 13帧/s 原始时长：24小时 运算时长：46小时 原始数据量：15G 存在问题： 数据量大 计算速度慢 需求： 处理大数据 多路并发处理 价格低廉 云平台：Hadoop 目录 总结 下一步要解决的问题 当前问题及解决方案 Hadoop原理简介 项目简介 Hadoop原理简介 Hadoop简介 Hadoop一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的硬件上。而且它提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。 Hadoop实现了基于Map/Reduce模型的分布式并行计算框架。 云平台需求 处理目标：视频大数据 处理方式：并行处理 成本：低廉 Hadoop原理简介 计算机体系架构 计算模块 存储模块 IO模块 Hadoop原理简介 计算机体系架构 Hadoop原理简介 Hadoop体系架构 Hadoop原理简介 HDFS—Hadoop Distributed File System 分布式文件系统 主从的分布式架构，单个NameNode，多个DataNode 数据分块存储，默认为64M一块 Hadoop原理简介 Map/Reduce计算架构 Map/Reduce的数据来源于HDFS 移动计算，而不是移动数据； 根据数据Block在集群上的位置分配计算量； 网络带宽是重要的资源； Hadoop原理简介 Map/Reduce计算架构 Hadoop原理简介 Map/Reduce计算架构 目录 总结 下一步要解决的问题 当前问题及解决方案 Hadoop原理简介 项目简介 当前问题及解决方案 使用Hadoop要解决的问题： 处理目标：视频大数据 处理方式：分布式计算 视频数据的特殊性 数据量大，需要压缩 使用时需要解码 时序性比较强，帧间关联性强 视频数据分布式计算 ? 解码 当前问题及解决方案 视频压缩原理（X264为例） 原始帧 关键帧 GOP 解码需要： 头数据； 关键帧； 当前问题及解决方案 回顾Hadoop分布式原理 存储：数据分割，分块分布式存储 计算：数据主导计算，Map/Reduce依赖分割后的数据块； 视频分割出现的问题 Map在本机可能找不到头数据； 分割的时候，每个分块是按照字节大小分割，可能把一帧图像分成两帧； 分割的时候，可能把一个GOP分开； 现有解码库只支持本地文件接口接口与HDFS的接口不兼容； 当前问题及解决方案 存在问题 当前问题及解决方案 存在问题 Map1:有头数据，1帧可以解码； Map2:无头数据，6,7,8可以解码； Map3:无头数据，11,12,13,14,15可以解码； Map4:无头数据，全部不能成功解码； 当前问题及解决方案 分布式解码解决方案 方案一：视频数据先分割，分割的大小按照HDFS的文件分块64M确定，再上传到HDFS，处理时需要将数据下载到本地 优点： 使用现成分割解决方案; Hadoop上的每一个Split都是一个完整的视频文件; Map处理时不存在缺少关键帧，以及单个帧不完整问题； 缺点： 视频数据需要预处理； Map处理完之后需要进行视频合并； 当前问题及解决方案 分布式解码解决方案 方案二：使用Fuse_dfs，将HDFS挂在到本地文件系统，并在分割点丢失若干帧； 优点： 数据可以不用预处理 缺点： Split分割处需要丢弃部分帧 目录 总结 下一步要解决的问题 当前问题及解决方案 Hadoop原理简介 项目简介 下一步要解决的问题 问题一：视频大数据的存储 当前假设数据已经在HDFS上； 需要提出一个解决方案解决视频来源问题； 问题二：解决视频帧之间关联问题 有些算法需要用