视频大数据的相关技术和分析流程.pdfVIP

视视频频⼤⼤数数据据的的相相关关技技术术和和分分析析流流程程 视频⼤数据分析⼜称智能视频分析， 指的是通过算法，⾼效处理海 ⾮结构化的视频图像数 据， 实现对数据的快速检索、智能识别和理解。 近年来，视频数据的价值逐渐得到⼤家重视， 通过计算机替代⼈⼒来挖掘视频数据价值正成为数据所有者⾮常关⼼的问题。 ⽬前，视频⼤数 据分析技术逐渐在政府、⾦融、 商业等领域得到应⽤，甚⾄成为了 ⽆⼈机、⽆⼈驾驶汽车、 VR、机器⼈等新兴领域的关键技术。 接上篇：视频⼤数据的商业价值和应⽤领域：零售/⼴告/⽆⼈机/VR/A R 但是，技术的难度显⽽易见。 视频数据除了具备⼀般⼤数据的典型特征， 还具有数据维度更 多、数据 更⼤、⾮结构化等问题。尽管计算机具有⽐⼈类⼤脑更好的记忆⼒ （机器不会体⼒ 不⽀或者遗忘），但是分析能⼒远远落后于⼈类。⼀个⼆三岁的⼩孩，我们只需要⼀个场景或 者⼀张照⽚就可以教会他“⼩狗是长啥样的”，他下次碰到另⼀条狗 （正常的狗），⼀般就能识别 出来。但是，我们要让计算机学习“什么 是狗”却是⼀件⾮常难的事情。在视频数据分析时，计算 机需要区分视频图像⾥⾯的⽬标、识别出其⾏为特征甚⾄对其未来的⾏为进⾏预判，本质上是 让计算机具有⼈类“眼睛”和“⼤脑”的功能，技术难度⾮常⼤。 互联⽹和科技巨头云集，布局视频分析核⼼技术，特别是以深度学习为基础的计算机视觉技 术。 近年来，以深度学习算法为基础的计算机视觉技术的进步为视频⼤数据分析提供了强有⼒ 的武器，反过来，视频⼤数据也为机器训练提供了 丰富的资源 （⼤数据是⼈⼯智能的燃料）。 该领域正处于萌发期， ⼤公司和初创团队都有机会。由于先进的算法技术主要发端于学院，所 以⽬前国内外专注于计算机视觉技术的团队主要来⾃于科研院所。 视频分析技术和云计算技术相结合，创新盈利模式。 预计仍然会以项⽬制为主，但云计算的引 ⼊提供了更好选择。例如， 视频监控即服务 （ VideoSurveillance as a Service， VSaaS） 模 式、 旷视科技的智能云平台 、极视⾓的计算机视觉 PaaS 平台等都是按服务来收费。未来，计 算机公司如果能实现基于视频数据的运营，切⼊到应⽤领域，将是商业模式的⾰命性进步。 2、数据的采集、 压缩和存储是视频⼤数据分析的前提 2 .1 、 数据采集 视频数据往往是通过摄像机采集的。这⼀领域⽬前处于较为成熟的阶段，趋势是向⾼清化、 ⽹ 络化、 真实化的⽅向发展。清晰度的⾼低往往决定了视频数据的价值⼤⼩，较⾼的清晰度可以 降低视频处理和分析的难度。 下图 介绍了⽬前主流⼚家的⾼清摄像机，其中不仅包括了常见的 监控摄像头，还包括家⽤摄像机。 2 .2、 数据压缩 视频压缩的⽬的是为了保证在维持⼀定质 的前提下最⼤化视频压缩⽐。 ⽬前， 全球视频数据 总 每两年翻⼀番，但视频压缩效率每隔⼗年才提⾼⼀倍， 所以迫切需要更有效的视频压缩⽅ 法以解决视频传输与存储等问题。 ⽬前，主要通过编码技术减少数据冗余的⽅式，最⼤化压缩 ⽐。现有⾼效视频编码主要研究可以归结为两类优化：⼀是如何进⼀步提⾼编码效率。 ⼆是如 何有效降低编码复杂度。 2 .3、 数据存储 在视频监控领域，常见的视频存储设备有硬盘录像机(DVR)、⽹络视频录像机(NVR)以及存储区 域⽹络(SAN)。其中， DVR 适⽤于⼩型监控系统； NVR 适⽤于远距离监控； SAN 具有很强的 存储扩展能⼒和故障隔离能⼒，适⽤于⼤规模监控⽹络的视频数据集中存储。 视频存储的发展⽅向是采⽤云存储系统来保存海 的视频数据。常⽤的云存储系统有开源的 Hadoop 分布式系统内臵的 HD S ⽂件系统，该存储系统会把⼀个完整的视频⽂件按固定⼤⼩ 分割为若⼲块，然后将各个⽂件块保存在不同主机的硬盘上，且提供数据块多机备份机制，提 ⾼了数据安全性。云存储系统能将异构存储设备组建成⼀个巨⼤的虚拟存储池，按需动态扩张 存储容 ，满⾜海 视频存储需求，提供 TB 级的视频输出带宽，⽽且由于云存储和云计算的紧 密结合，可在视频⼤数据之上构建各种服务与应⽤。 3、 视频⼤数据分析的三⼤层次 视频⼤数据分析需要解决三个层次的问题，⼀是⽬标检测和跟踪。 ⽬标检测是从背景中找出我 们关⼼的物体，可以不知道“是什么”。⾼级的⽬标检测就是⽬标识别，因为其不仅把⽬标检测出 来了，还知道了⽬标“是什么”。 同时， 检测出⽬标后，就可以通过其他技术⼿段实现⽬标跟 踪。 ⼆是⽬标识别 ，解决的是“是什么” 的问题。 我们经常说的⼈脸识别属于该层次。 三是⾏为 识别