大数据在视频监控中的应用研究.docVIP

大数据在视频监控中的应用研究 　　摘 要随着智能化产业的不断发展，视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合，尤其在安防系统中的重要性日益突出，成为技术安全防范最有力的手段。海量的视频数据要得到有效的处理，须与大数据技术相融合，可引入Hadoop架构，以顶层设计视角来构建面向大数据的视频监控架构，同时结合适当的视频数据挖掘技术，为视频监控的快速检索、智能分析提供端到端的解决方案。 　　【关键词】大数据 视频监控 Hadoop架构 数据挖掘技术 　　1 前言 　　由于数据体量的激增、结构类型的复杂、但数据的低密度价值以及处理速度的提升等新特性的出现，促使人们对大数据进行研究与实践。现阶段，大数据已逐渐渗透到各个行业和业务职能领域。在安防领域中，视频监控以其直观、准确、及时和信息内容丰富而广泛应用于许多场合，在安防系统中的重要性日益突出，海量的视频数据需要得到有效的处理，迫切需要与大数据技术相融合。大数据可以有效促进视频监控业务的发展，推动视频监控业务的展开，两者之间的融合势在必行。 　　2 大数据 　　在信息技术中，“大数据”是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。其挑战包括采集、管理、存储、搜索、共享、分析和可视化。大数据技术描述了新一代的技术和架构，使用高速获取、发现和/或分析方法提取的各种各样数据量非常大的数据价值。 　　3 视频监控数据 　　在视频监控领域，大数据的特点可用4个V来概括：Volume、Variety、Velocity、Value。 　　3.1 数据体量巨大（Volume） 　　高清化带来单个监控点数据量以指数级增长，例如单个1080PIPC30天就会产生2T数据；IP化大联网后，各平台实现互联，平安城市网内摄像头数量达数万数十万级别，其数据量之巨大可想而知。 　　3.2 数据类型繁多（Variety） 　　视频监控领域的视频编码格式包括：H.264、MPEG-4、MJPEG等多样化的编码方式。同时随着各类物联网技术融入到视频监控业务，汇聚了包括各种传感器、IT、CT系统产生的多样的数据。 　　3.3 处理速度快（Velocity） 　　视频数据随时间快速增长，并以持续顺序到达。随着数据量的增加，哪怕对TB级别的数据进行视频内容的数据分析和检索，采用串行计算模式都可能需要花费数小时的计算，已远远不能胜任时效性的需求。 　　3.4 价值密度低（Value），效率要求高 　　在视频监控业务中，价值密度的高低与数据总量的大小成反比。一小时的视频监控内容，可能有用的数据仅仅只有一两秒。 　　4 视频监控大数据分析架构 　　结合视频监控业务特点，引入Hadoop的架构，以顶层设计的视角来构建面向大数据的视频监控架构。面向大数据视频监控逻辑架构包括： 　　4.1 数据源层 　　包括实时数据和非实时数据。实时数据指IP摄像头和传感器产生的实时流媒体数据。非实时数据是指从DVR、编码器、第三方系统导入的媒体数据。 　　4.2 大数据存储层 　　采用HDFS（Hadoop Distributed File System）和HBase（Hadoop Database）实现数据低成本、高可靠的管理。把采集的流视频保存在HDFS集群内，并通过HBase建立访问的索引。把传统NVR和专用存储进行重构，纳入到整体的分布式文件系统中。 　　4.3 大数据计算层 　　实现智能分析和数据挖掘。通过MapReduce把对视频的分析进行分解，充分利用闲置资源，把计算任务分配给多台服务器进行并行计算分析；另一方面，根据智能分析产生的视频元数据，通过Hive挖掘视频元数据的价值信息。 　　4.4 业务及管理层 　　实现设备和业务管理。基于Zookeeper组成的服务器集群，可以保证业务系统的无故障运营，基于Ganglia实现对摄像头等设备的监管。 　　基于大数据的视频架构，本质上是把视频数据作为最有价值的资产，以数据作为核心来构建技术架构，重点解决海量的视频数据分散和集中式存储并存、多级分布等问题，极大提升非结构化视频数据读写的效率，为视频监控的快速检索、智能分析提供端到端的解决方案。 　　5 视频监控数据挖掘技术 　　视频数据挖掘的目的是建立底层视频数据到高层语义信息之间的映射关系，由于这种映射关系比较复杂，一般采用多层次的信息提取及映射技术来最终实现数据挖掘过程：从底层视频数据中首先提取底层图像特征信息，然后利用目标检测、目标跟踪、特征比对等手段从图像特征中提取元语义信息，最后将元语义信息融合为高层的语义级描述信息。主要采用的视频数据挖掘技术有：视频浓缩与检索技术、视频图像信息数据库等技术。 　　视频浓缩与检索技术主