建立基于Map-Reduce的海量视频目标追踪模型.docx

??

?

??

建立基于Map-Reduce的海量视频目标追踪模型

?

?

?

?

?

??

?

?

?

■付仁杰贺仁龙闻剑峰丁富强文

目前各类公共监控系统都产生了海量的监控录像视频，如何在海量的监控录像视频中快速查询到指定目标，并快速了解该目标对象的完整活动轨迹？尚未有_个完善的解决方案。

本文创新性地提出了一个完整的解决方案模型——“基于Map-Reduce的海量[来自www.LW5]视频目追踪模型型”，简称MTTM-MV。MTT_M-MV综合使用了虚拟化、云存储、Map-Reduce并行处理、视频分析等技术，完整地实现了计算能力“按需扩展”、Map-Reduce并行视频分析、智能生成目标的追踪轨迹等功能。比如，根据MTTM-MV，我们建立了“云智能车辆追踪系统(CIVTS)”，该系统能够在海量视频中，通过并行分析处理，快速得到目标车辆的追踪轨迹，直观地展示给用户。CIVTS的成功实现，有效地验证了MTTM-MV的正确性。

云计算与Map-Reduce深入理解云计算

云计算可分为“狭义云计算”和“广义云计算”。“狭义云计算”是指IT基础设施的交付和使用模式，一般指通过网络以按需、易扩展的方式获得所需资源。“广义云计算”是指云计算技术为用户提供了快速弹性的能力。从用户的角度来看，“云”中的资源是可以无限扩展的，并且可以随时获取，随时扩展。

MTTM-MV具有云计算的多种特征，如快速部署资源、动态可伸缩扩展、面向海量信息处理、按需求提供计算资源等。在MITM-MV模型的验证过程中，我们采用“理想云计算管理平台”，顺利完成了计算资源的快速调度、部署、分配，很好地配合了整个方案模型的验证_作。

Map-Red[来自www.lW5u.Com]uce并行处理

Map-Reduce是分治思想的一种实现方式，一般适用于可以“分而治之”的任务。Map-Reduce是谷歌提出的一个软件架构，是一种处理海量数据的并行编程模式，用于大规模数据集(通常大于1TB)的并行运算。

与传统的分布式程序设计相比，Map-Reduce封装了并行处理、容错处理、本地化计算、负载均衡等环节，还提供了一个简单而强大的接口。通过这个接口，可以把大尺度的计算自动地并发和分布执行，从而使编程变得非常容易，还可以通过由普通PC构成的巨大集群来实现极高的性能。

MTTM-MV根据谷歌的Map-Reduce原理，将用户任务智能分解，然后自动提交给Map-Reduce集群并行处理、快速生成分析结果，并智能地生成追踪轨迹，展示给用户。该方案通过扩大并行计算节点的规模来快速减少用户任务处理的总耗时。

Hadoop

Hadoop是Apache的—个开源项目，并且已经形成了一个完整的分布式计算的生态系统，包括HDFS、MapReduce、Hbase、Hive、Zookeeper等，能够轻松地实现海量数据的大规模并行分析处理方面的应用。目前各大厂商都在争相推出基于Hadoop的相关产品方案。如Amazon、IBM、Yahoo！、Cloudera、MapR、Dell，等等。

MTTM-MV采用Hadoop进行了实验验证，并取得了预期的效果。MTTM-MV模型

MTTM-MV是一种可弹性扩展、并行处理的海量视频目标智能追踪模型，也是一种完整的海量视频智能分析解决方案。MITM-MV主要实现了以下3个方面的能力：

“按需扩展”的计算能力

MTIacute;M-MV首次将“任务智能分解”、“按需扩展(Scale-Out)计算资源”、“计算节点自动集群能力”进行整合，完整地实现了计算能力的“按需扩展”。

任务智能分解

如果任务需要并行处理，则首先要对“计算任务”进行合理分解。任务拆分的好坏直接关系到任务分析的效率和任务处理的总耗时。MTTM-MV可以通过自动感知计算量，结合集群信息、业务信息、业务处理流程、拆分模型等，对总任务进行合理分解，形成大批量的子任务。

计算资源的“按需扩展”

计算资源的按需扩展，主要指物理计算资源的按需扩展。MTTM-MV根据任务计算量的不同，智能实现了计算资源的“按需扩展”。例如，随着任务量的增加，MTTM-MV能够自动实现计算资源的弹性“按需增加”，为计算能力的扩展做好资源准备。

计算节点的自动集群能力

计算节点的自动集群能力指无论是新增节点，还是失败后恢复的节点，都具有自动加入现有计算集群且无差别地参与现有计算任务的能力。目前，可以通过多种方式实现节点具有自动集群能力，如通过JINI协议进行自发现或者通过DHCP+DNS映射发现等。

当计算节点具有自动集群能力后，才能真正实现“计算能力按需扩展”。

Map-Reduce并行视频分析

在MTTM-MV中，将智能分解得到的全部子任务作为Map-Reduce过程的输入，然后在M