用大数据技术挖掘视频监控数据价值.docxVIP

用大数据技术挖掘视频监控数据的价值 　　随着数据量的增加，哪怕对TB级别的视频数据进行对视频内容的数据分析和检索，传统技术模式下可能需要花费数小时的计算，已远远不能胜任时效性的要求。用户希望能够对海量数据进行有效管理和使用，快速辨别有效数据，提高数据利用价值。　　得益于IT信息技术的快速进步，人类可以随时随地记录下产生的各类数据，同时数据存储的成本也正以前所未有的速度下降，大数据时代正悄然来临。在视频监控领域，高清化，大联网数据汇聚推动视频大数据形成，业务实战化推动大数据分析需求。　　一、视频监控业务的大数据特征　　在视频监控领域，大数据的特点，可用Volume、Variety、Velocity、Value这4个V来概括(如图1)。大数据的特点包括以下几点： ??? 第一，数据体量巨大(Volume)。高清化带来单个监控点数据量即以指数级增长，例如单个1080PIPC30天就会产生2T数据;IP化大联网后，各平台实现互联，平安城市网内摄像头数量达数万数十万级别，其数据量之巨大可想而知。　　第二，数据类型繁多(Variety)。视频监控领域的视频编码格式包括：H.264、MPEG-4、MJPEG等多样化的编码方式。而同时随着各类物联网技术的融入到视频监控业务，汇聚了包括各种传感器、IT、CT系统产生的多样的数据。业务系统需要把结构化与非结构化数据相互关联，统一存储。　　第三，处理速度快(Velocity)。视频数据随时间快速增长，并以持续顺序到达。在视频监控领域，视频分析的效率决定价值，更低的延迟、更准确的分析是平安城市这类客户的普遍需求。随着数据量的增加，哪怕对TB级别的数据进行视频内容的数据分析和检索，采用串行计算模式都可能需要花费数小时的计算，已远远不能胜任时效性的需求。　　第四，价值密度低(Value)，效率要求高。在视频监控业务中，价值密度的高低与数据总量的大小成反比。一小时的视频监控内容，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题。　　二、视频监控业务的大数据应用需求　　随着数据量的增加???哪怕对TB级别的视频数据进行对视频内容的数据分析和检索，传统技术模式下可能需要花费数小时的计算，已远远不能胜任时效性的要求。用户希望能够对海量数据进行有效管理和使用，快速辨别有效数据，提高数据利用价值。　　分析大数据产生小数据。摄像头7×24小时工作，如实记录镜头覆盖范围内发生的一切，仅仅记录信息是不够的，因为对于客户来讲可能大部分信息是无效，有效信息可能只分布在一个较短的时间段内，按照数学统计理论，信息是呈现出幂律分布的，或称之为信息密度，往往密度越高的信息对客户价值越大。实时涌入的海量数据容易产生大量的休眠数据，浪费大量存储资源。对海量数据进行智能分析，提取出价值数据片段。建立摘要信息，减少用户需要面对处理的数据量，形成元数据信息库。　　提纯小数据产生价值数据，例如在公安系统中希望能集中分析过去和现在的犯罪数据和视频图片，整合所有信息，能提供对犯罪趋势更全面的看法。这就需要针对海量历史数据实现快速检索，并对貌似非关联的数据进行关联，并在可视化平台进行呈现，总结出数据规律，为决策者提供参考和预测未来业务走向。　　三、视频监控大数据分析所需的关键能力　　因为视频监控中大体量数据带来了很多现实中的难题，我们需要在视频监控解决方案中引入大数据技术。基于视频监控业务的特点，我们认为四类关键技术发挥至关重要的作用。　　智能分析能力。基于计算机图像识别算法，对视频图像内容进行理解和分析，生成图像内容和行为的描述信息，并以结构化或半结构化语言描述，为视频大数据分析与应用提供基础;　　大数据处理能力。基于大数据并行或分布式处理技术，如Hadoop，Hbase等，形成面向大数据的分布式存储与数据管理框架;提供实时和批处理ETL，实现数据清洗/转换/装载，以形成价值信息汇聚;　　数据挖掘与分析能力。对智能分析元数据的检索、数据挖掘与分析能力，即对视频数据的高效利用能力;与非视频数据整合分析，挖掘事件关联及产生模式，提升视频数据价值的能力;　　可视化展现能力。对视频内容的高效检索、比对和呈现能力;与GIS平台、情报分析平台、应急处理平台等地方平台视图整合展现，提升视频数据实用性的能力。　　通过大数据技术，进一步挖掘海量视频监控数据背后的价值信息，快速反馈内涵知识辅助决策判断将是未来视频监控应用的发展方向。　　四、视频智能大数据分析架构　　视频监控业务的核心就是数据，数据就是业务本身，笔者公司的视频监控大数据架构平台可以给大型的视频监控项目带来诸多的裨益。　　该智能大数据架构灵活，伸缩弹性更大。实现计算、存储资源云化部署，设备自组网、自