基于大数据的机动车缉查布控平台构建.docx

基于大数据的机动车缉查布控平台构建*方艾芬1,2蔡岗1,2缪新顿1,21.公安部交通管理科学研究所2.道路交通安全公安部重点实验室摘要：阐述了全国机动车缉查布控联网系统目前的现状和挑战，分析了引入大数据技术的必要性，提出了构建机动车缉查布控大数据平台的思路和方法，并以实际案例证明了该平台的可行性和现实意义。关键词：大数据 分布式计算 卡口 缉查布控一、引言为进一步推进公路交通安全管理科技建设，提升动态 化、信息化条件下公路交通安全管控水平，2012年10月以来，公安部交通管理局组织研发推广了全国机动车缉查布 控系统联网应用。通过整合共享各地车辆智能监测记录系 统（以下简称卡口系统）信息资源，建立横向联网、纵向 贯通的全国机动车缉查布控系统，实现大范围车辆缉查布 控和预警拦截、车辆轨迹和交通流量分析研判、重点车辆 管控、交通违法行为甄别查处、侦破涉车案件等应用。截 止目前，全国31个省（区、市）已完成缉查布控系统联网工作，接入卡口14000多个，汇聚机动车通行数据70多亿条，在侦破肇事逃逸案件、查处涉车违法行为以及治安防控、反恐维稳等方面开始发挥重要作用。随着联网单位和接入卡口的不断增加，当前各省、市部署的机动车缉查布控系统积聚了海量的过车数据等信 息，开始面临以下挑战：（1）数据越来越海量。卡口系统7×24小时不断上传 过车数据和图片，以一个中等规模省市为例，每地市每日采集过车信息150万条，每年采集过车信息5亿条，全省每年将汇聚100亿条过车信息，数据从GB级发展到TB级、PB级。如何将如此海量的数据用好、管好成为一大难题。（2）数据应用越来越复杂。各地充分利用海量数据 资源，组织研发各类分析软件，研判辖区道路通行流量、 大客车、危化品车等重点车辆通行情况，排查套牌假牌、 逾期报废仍上路行驶等嫌疑车辆。数据应用的需求从分类、聚类到复杂多系统碰撞及各种分析、研判、评估。如 此复杂的应用对运算方式提出了极高的要求，传统系统架 构很难满足需求。（3）查询响应速度越来越慢。目前机动车缉查布控 核心系统采用ORACLE关系型数据库，关系型数据库在数据量增大的情况下，执行检索（尤其是模糊检索、关联查询）的速度会发生几何级下降（表1）。由于传统关系型数据库缺乏分布式计算能力，所以面向大数据时只能越来 越慢，即便经过优化也还是不能满足大数据应用的要求， 造成严重的性能瓶颈。*基金项目：公安部科技强警基础工作专项（编号：2014GABGC052）；科研院所技术开发研究专项（编号：2013EG253051）二、大数据技术为应对以上挑战，笔者单位对大数据技术在机动车缉查布控系统中的应用进行了深入研究，预研了一套基于大数据技术的机动车缉查布控平台，并通过了实际应用验证。本文在此重点介绍平台的构建技术和应用案例。Hadoop分布式计算框架主要包含以下关键技术：（1）HDFS分布式文件系统。它可以构建从几台到几千台常规服务器组成的集群，并提供高聚合输入输出的文件读写访问。（2）MapReduce并行计算组件。用于大规模数据集（大于1TB）的并行运算（分布式计算），由Map（映 射）和Reduce（化简）两部分组成，为数据的高并发读写提供了全新的、水平可扩展的（Scaleout）、经济的技术架构。（3）HBase列存储技术。它是一个建立在HDFS之上 提供高可靠性、高性能、列存储、可伸缩、实时读写的分 布式数据库系统，主要用来存储非结构化和半结构化的松 散数据。HBase提供的列存储NoSQL技术，能提供比传统行存储的RDBMS成百上千倍的快速检索效率。大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。业界用4个V概括大数据的基本特征，即volume（量大）、variety（多样化）、value（价值密度低）和velocity（处理要求快）[1]。量大是指数据规模至少在TB级；多样化，一方面指数据有不同的来源，另一方面指数据类型有结构化、半结构化和非结构化等多种形式；价值密度低指这些数据的单一来源或单一维度并不能带来有效的价值，只有形成一定规模并关联起来，才能体现大的价值；处理要求快主要指数据分析的实时性要求很高。机动车缉查布控系统采集的流式过车数据完全符合大数据的基本特征。大数据技术被设计用于在成本可承受的条件下，通过非常快速的采集、发现和分析，从大量化、多类别的数据中提取价值，是IT领域新一代的技术与架构。其中，以Hadoop为代表的分布式计算平台正在被大量互联网公司、企业采用，实现对海量数据的运行和管理。（4）Hive数据仓库技术。它提供了类似于传统SQL的编程模型，为海量机动车轨迹碰撞和分析过程提供了友善的编程模型和方法，同时能利用Map/Reduce的高并发性特性。三、平台构建（一）建设要求针对传