云计算的广域级视频监控综合业务平台.docx

PAGE 1 PAGE 1 云计算的广域级视频监控综合业务平台  针对目前广域级的视频监控项目遇到的各种问题，设计了一种基于SOA架构和云计算技术的视频监控综合业务平台。采用云计算中的虚拟化技术对平台底层中多种异构软硬件资源进行整合管理，采HDFS分布式文件系统和HBase分布式存储系统对海量视频数据进行高效的分布式存储管理，采用MapReduce分布式编程架实现用户业务的分布式并行处理与资源调度。在此基础上，众多用户业务最终实现为云服务并在SOA架构下部署成分布式系统，有效实现业务流程的整合及融合。  城市的视频监控系统正从单个部门或领域安防业务的支撑系统转变为整个城市信息化建设和管理应用的支撑系统，其前端录像设备已达到数十万级的规模，定位于对整个城市范围的视频资源和相关信息进行有效管理和应用，以为各类部门如公安、城管、交通、环保、能源、安监等的业务领域供应服务支持。而现有的视频监控系统大多为部门自建或独立项目建设，存在着各个系统相互孤立、标准不一、系统可扩展性不强、各部门之间难以协同工作等缺点。这就迫切需要把现有系统升级为可适应大规模信息共享需求和多元化业务需求的广域级视频监控综合业务平台，实现各业务间的集成和整合，以消退信息孤岛，提升系统整体运行效率。目前视频监控技术已进入网络和全数字时代，网络视频监控技术及其应用不断发展，但基本都采用基于局域网架构下的集中式管理模式，不能解决广域级系统中面临的问题。云计算可通过虚拟化、分布式存储、并行数据处理等各种手段对各种计算和存储资源进行统一组织和管理，并以服务的形式按需供应给云端用户。SOA是对云计算中资源服务化的理念上的承接，供应了把云计算服务集成为系统平台的解决方案。这种集成正在走向现实应用，文献中提出了一种结合SOA与云计算系统构建的云服务平台模型Nebula，能将分布在互联网中各个图书馆的资源和服务整合为一个整体，支持馆际资源共享、服务共享和任务协同。但Nebula平台不需管理广域级中大量异构硬件，也没有供应对基于海量视频数据的并行计算业务支持。本文设计了一个基于SOA和云计算系统构建的广域级视频监控综合业务平台(以下简称视监平台)，可实现对广域范围内的视频监控设备及有关计算资源和视频监控数据的统一组织和管理，具有敏捷的可扩展性，弹性的业务能力，并以服务的形式向平台用户供应多元化业务服务。  1.关键技术概述  面对广域范围密集监控下不断增长的海量视频数据以及多个城市管理部门的多元业务需要，广域级视监平台需要解决数据中心管理、底层资源虚拟化、海量数据存储与分析、多元业务集成与融合等关键问题。  1.1数据中心与虚拟化技术  数据中心与虚拟化技术为广域级视监平台统一组织管理密集分布在城市范围内的大量异构硬件资源供应了有效的手段。在1万路的视频监控项目中，若有10%的设备需要保留24小时连续的视频编码数据，则每天产生的数据量约为10TB。因此，海量的存储资源和数目巨大、品牌各异、分布范围广泛的摄像枪、监控器等各种异构视频I/O设备是本视监平台的管理重点。云计算的数据中心技术为广域范围内包括计算节点、存储节点、视频I/O节点在内的各种底层异构物理资源供应低成本、高带宽、高牢靠的网络连接，并快速有效地存储由监控业务产生的海量视频数据资源。在此基础上，采用云计算虚拟化技术对其进行统一的抽象管理。虚拟化技术可分为基础设施虚拟化和系统虚拟化。基础设施虚拟化技术包括CPU虚拟化、内存虚拟化和I/O设备虚拟化，可用于对平台底层各种异构资源按大类进行整合，并通过构建资源池实现标准化表示，向上层供应访问这些物理资源的统一接口。系统虚拟化技术是对基础设施虚拟化技术的进一步扩展，应用传统虚拟化技术VMWare可实现资源定制，为视监平台上不同部门多元化的业务应用需求供应相应的虚拟机运行环境。而新的系统虚拟化技术，支持虚拟机快速部署和在线迁移，可进一步提高虚拟机的牢靠性。  1.2分布式文件系统和分布式编程框架  Hadoop是由Apache基金会管理的一个开源项目，其组成部分HDFS、HBase和MapReduce分别是云计算技术下分布式文件系统和分布式编程框架的开源实现。这三者相互协作，可以实现本视监平台中海量数据的分布式存储管理及并行处理，并具有以下优点：①可扩展性强，在存储和计算两个层面上都可实现可扩展的分布式处理；②经济性好，系统可以运行在廉价的大规模服务器集群上；③牢靠性高，HDFS的设备恢复机制以及MapReduce的任务监控机制保证了分布式处理的牢靠性。  1.2.1HDFS分布式文件系统  HDFS主要用于对以视频数据为主的海量数据供应分布式存储和管理，以利于在数据规模日益浩大的状况下实现有