一种新视频分析任务主动调度机制.docVIP

一种新的视频分析任务主动调度机制 　　摘要：随着视频侦查手段在公安部门的日益推广，为公安部门提供破案线索支持的视频智能分析平台也日益受到重视。任务调度机制作为视频智能分析平台的关键技术，必须保证视频分析任务在不同计算节点间调度的合理性和有效性。论文提出了一种新的视频分析平台上的任务主动调度机制，减少了任务调度开销，保证了任务总执行时间，提升了视频分析平台的视频分析效率。 　　关键词：视频分析 任务调度 主动调度 　　1 概述 　　随着当前智慧城市、平安城市等相关建设在各地的大力推广，各地都建立了一定层次的视频监控网络，为保证城市安全、维护社会稳定起到了重要的作用。视频侦查手段在公安部门的案件侦查、社会管理等业务中的重要性也日益突出，越来越受到各地公安部门的重视。然而随着视频监控网络建设的不断推进，公安部门在案件侦查过程中所需分析处理的案件视频越来越多，人工对案件视频进行分析的难度也越来越大。 　　航天长峰为提升公安部门的视频侦查水平，增进公安部门的侦查办案效率，建设了一套基于海量视频的事件轨迹快速检索平台。该平台通过多个进行视频分析的计算节点，对视频进行同步智能分析，为用户提供诸如视频智能摘要、目标智能检索的视频分析服务，大大缩短了公安民警人工观看视频的时间，在多地的使用中取得了良好的效果。 　　该视频分析平台稳定高效运行所面临的核心挑战就是如何响应用户提出的视频分析并发任务请求，并将其分配到合适的计算节点上加以分析，在用户期望的时间内向用户返回结果。也就是说，如何对视频分析任务实施合理的调度，形成视频分析平台的视频分析任务智能调度机制，是系统实现的一大关键技术。 　　本文通过对视频分析任务的特点加以分析，结合主动和被动调度思想，提出了一种新的任务调度机制，并在测试中验证了该机制的合理性和有效性。 　　2 视频分析任务的特点 　　观察视频分析任务的运行时间，可以发现视频分析任务所需的运行时间不确定性很高。其主要原因在于不同监控视频的分辨率、清晰度、目标数目等众多因素存在很大区别，而视频分析任务的执行时间受原始视频的影响很大。这就造成视频分析任务的时间很难预测，变化也很大。 　　记录50次对同样长度视频进行的视频分析任务的执行时间，结果如图1所示。 　　由以上结果可见，对同样长度视频进行的视频分析的时间分布相当随机，不确定性很高。 　　学术界过去对任务调度问题的研究主要集中于任务执行时间可以预测的情形[1]。例如LS、Min-Min等被动调度算法，它们都需要了解任务在计算节点上的预期计算时间，并基于此预期计算时间进行调度。然而从上面的分析可见，视频分析任务运行时间很难在事先确定，因此很难利用被动调度算法对视频分析任务进行有效的调度。而必须根据视频分析任务的实际情形，结合主动调度相关思想，提出创新的视频分析任务调度机制。 　　3 视频分析任务的调度机制 　　显然视频分析任务的调度机制应当保证在高并发、大任务量时将任务合理地分配到各个计算节点上。此时的任务调度既要保证任务在用户的预期执行时间内完成，即最小化任务的执行时间；也要保证不同计算节点的负载相对均衡，使得计算节点能够有效地完成视频分析任务；还要尽量减小任务调度自身的时间、网络等开销。 　　如前所述，视频分析任务很难在任务执行之前准确预测执行时间，也就导致视频分析平台难于利用被动调度相关算法进行任务调度。具体而言，当有大量任务同时到达时，视频分析平台很难由调度服务器自身决定应当将任务分配到哪一个计算节点上进行计算，而必须利用主动调度策略，由计算节点在空闲时向调度服务器申请任务，完成相关功能。 　　但同时也注意到当系统空闲时，在主动调度机制下，计算节点会占用大量网络资源向调度服务器请求任务[2]。这既造成了网络资源的浪费，也不利于系统的稳定、可靠运行。由于在系统不繁忙时，大量的计算节点空闲，偶然出现的任务总是会被分配到计算能力最强的节点上。为了在系统空闲时能够合理地减小调度开销，则可以引入被动调度机制，由调度服务器直接决定任务分配的计算节点。 　　基于上述分析，设计视频分析平台的任务调度机制如图2所示。 　　视频分析平台的任务调度机制的运行流程如下： 　　①视频分析平台以主动模式开始运行。此时，调度服务器的用户请求处理模块接收用户请求，将其缓存于自身的用户任务队列中。 　　②计算节点的状态监测模块开始运行后就不断跟踪每一个用户任务的处理，统计出计算节点的平均响应时间，并结合自身的CPU、内存和网络带宽的利用率以及网络可达性，周期性（如每秒1次）地计算自身的负载容量。 　　③计算节点的主动调度模块根据状态监测模块的决策规划，将自身的服务质量信息以及负载容量反馈给调度服务器的计算节点监测模块，主动向调度服务器发出请求，要求获得与其负载能力相