视频结构化大数据平台解决方案推荐.docx

视频结构化大数据平台解决方案千视通目录1.建设背景42.建设目标43.建设原则53.1.标准化原则53.2.统一设计原则53.3.大数据处理原则63.4.高可靠/高安全性原则63.5.适用性原则63.6.可扩展性原则74.系统总体设计74.1.设计依据74.2.总体架构设计94.3.业务架构设计104.4.网络架构设计115.数据结构化135.1.概述135.2.数据采集135.3.控制调度单元145.4.目标结构化单元145.5.车辆结构化单元195.6.前端要求236.数据存储256.1.概述256.2.功能设计266.2.1.数据存储266.2.2.数据服务276.2.3.系统管理286.3.存储设计297.数据应用297.1 以图搜车307.2人物大数据317.2.1人物综合查询317.2.2人物检索317.2.3人骑车检索337.2.4视频框选嫌疑目标347.3以图搜图357.3.1智能建库引擎357.3.2以图搜图应用357.4GIS应用367.4.1基本操作367.4.2地图查询367.4.3轨迹展示377.4.4摄像头操作387.4.5系统管理398.平台特点428.1.提高海量视频倒查的效能428.2.提供视频关键特征的视频检索438.3.永久保存结构化的视频信息438.4.基于虚拟化服务的云计算架构439.配置清单46建设背景平安城市视频监控技术已经从联网整合阶段发展到视频实战深度应用阶段。面对视频资源整合规模的持续扩大、视频实战业务的广泛应用以及视频信息化处理过程中产生的海量视频数据，如何充分利用海量的视频数据，实现海量视频数据的高效检索以及基于实战需求构建警务视频大数据应用平台，成为视频深度应用亟待解决的问题。建设统一开放的视频云计算平台，并在视频云计算架构基础上，实现视频信息化、信息情报化、情报实战化是视频大数据实战应用的关键。随着公安信息化建设进程的不断加快，全国各地都在掀起“平安城市”、“智慧城市”和“科技强警”等一系列大型安防系统建设。全国各地随着“平安城市”的推动，建设了越来越多的视频监控摄像头。但是如何将这些视频资源整合好、利用好、管理好、应用好，发挥视频实战的最大效用，是视频实战应用下一步发展面临的问题。全球在2010年已正式进入ZB时代，全球数据量大约每两年翻一番，一天产生的视频监控数据超过1500PB。地市“天网”摄像头都数以万计。由于数据的飞速增加不仅出现了视频图像信息海量储存、检索困难，历史图像查找比对困难，多级视频图像信息共享平台无法实现互联互通，传输网络架构和带宽不足等问题；也使以往公安人工检索，人工分析视频的方法不再适用。如何存储海量视频信息？如何提升海量视频信息查找效率？如何利用海量视频信息为案件侦破提供支撑？千视通视频结构化应用平台对海量视频数据中（人物、车、人脸）经过结构化引擎处理,基于云存储技术构建大数据平台，基于数据挖掘技术构建应用平台，实现视频图片的智能检索、车辆大数据应用、人物大数据应用，人脸大数据应用等。建设目标系统主要解决如何快速有效提高从大量视频和图像信息中查找到有效信息的效率问题，解决海量视频数据的不断增大带来的存储成本的增加问题以及目前的视频数据使用方案越来越难解决的海量视频应用场景。其次利用目前已建设的公安视频及社会面视频，打造视频大数据中心，为侦查破案提供数据分析支撑。 系统建成后，公安所有的监控视频、交通卡口、社会监控数据以及案事件的视频资料等归档数据将成为一个结构化的处理，存储，管理，分析，计算，使用的一体化大数据云中心。建设原则标准化原则基于数据标准建设结构和非结构化云存储技术中心，能够有效确保数据模型设计的规范性，以及与源系统及管理分析类系统保持一致的业务定义和技术定义，从而满足支持业务开展、横向的信息扩展和宏观管理的要求，使结构化后的视频、图片和分析结果等成为公安各业务系统的可信数据源。统一设计原则按照公安部视频数据的相关标准设计系统结构。特别是应用系统建设结构、数据模型结构、数据存储结构以及系统扩展规划等内容，从规划的全局出发、从长远的角度考虑。大数据处理原则致力于跨警种、跨系统的视频相关数据结构化处理，致力于非结构数据加工和数据挖掘等深层次的数据应用，建立在云存储和云计算的体系之上，具有海量数据处理能力，以适应不断增长的数据量和业务需求。高可靠/高安全性原则从系统从结构上、产品性能上、设备的选型上，以及具体的实施方案，将充分考虑软硬件的成熟度，使得系统的稳定性和可靠性得到保障，同时系统具备完备的网管单元，实时监测系统运行状态，灵活对整个计算资源进行有效调度和分配，平时保障85%的计算资源利用率，预留15%的计算资源，一方面使得机器不在峰值上一直运行，同时在突发临时事件时 ，预留的15%的计算资源可以备用，确保系统正常、稳定、可靠、连