智能交通大数据处理平台之构建.docxVIP

交通拥堵成为大城市通病，改善城市出行条件已成为当务之急。智能交通系统是 缓解交通、提升交通效率的有效手段。数据是智能交通的核心，对交通数据深度处理 与分析是其中关键。智能交通大数据处理平台之构建■ 周为 交通拥堵成为大城市通病，改善城市出行条件已成为当务之急。智能交通系统是 缓解交通、提升交通效率的有效手段。数据是智能交通的核心，对交通数据深度处理 与分析是其中关键。 智能交通大数据处理平台之构建 ■ 周为钢 杨良怀 潘建 郑申俊 沈贝伦 沈俊青 引言 随着经济发展、城市化进程的加快以及城市规模不断扩 大，机动车拥有量及道路交通流急剧增加，城市紧缺的土地 资源和高密度的土地利用模式，使得交通供给与交通需求之 间的矛盾日益突出，交通拥堵、停车困难、环境恶化等交通问 题不断加剧，影响了城市的可持续发展及人民生活水平的提 高，阻碍了经济的发展。杭州市也面临同样的问题，近年来机动 车保有量持续快速增长，高峰交通拥堵日益加剧，交通发展面 临严峻形势和新的挑战。杭州市政府决定自2011年10月在市区 主要范围内实施“错峰限行”等交通管理措施。采取调控交通 需求削减交通需求总量其原因之一是杭州已经难以通过基础 设施规划建设来改善交通。另一方面,如何利用智能交通系统 （ITS）来缓解交通、提升交通效率也是可以着力的一个方向。 目前杭州市交通管理部门建立了功能相对完善的交通指 挥控制中心，包括交通信号控制系统、道路交通监控系统、交 通诱导显示系统、停车管理系统、交通违章处理系统等，初步 实现了交通信号控制、道路监控、交通信息综合查询、有/无 线指挥调度及交通诱导等基础功能。ITS的各种信息采集技术 （如微波采集技术、视频采集技术、环形线圈感应式采集技 术等）被广泛地运用于交通数据采集，公安交管部门不仅具 备了交通基础信息，还拥有了各类动态数据，如车辆实时营运 信息、道路交通状况等，采集的数据类型包括属性数据、空间 数据、影像数据等。对交通三要素（人流、车辆、道路）连续不 断采集的多源交通数据流产生了巨量的交通数据，具有典型的 “3V”特性：大容量、多样性、高速度，也具有价值、复杂性的 特点，属于名符其实的交通“大数据”。仅以杭州市内道路卡 口数据为例，每天达到约15GB的数据量，要实现对城市道路 交通的整体运营水平和人们出行规律的深度挖掘，就要以日、 月甚至年为时间粒度对大数据进行计算和分析。 数据是智能交通的核心，数据为王的大数据时代已经到 来。李国杰院士指出战略需求发生了重大转变，企业关注的重 点转向数据，计算机行业正在转变为真正的信息行业，从追求 计算速度转变为大数据处理能力，软件也将从编程为主转变 为以数据为中心。如何高效地从海量数据中分析、挖掘所需的 信息和规律，结合已有经验和数学模型等生成更高层次的决 策支持信息，获得各类分析、评价数据，为交通诱导、交通控 制、交通需求管理、紧急事件管理等提供决策支持，为交通管 理者、运营者和个体出行者提供交通信息，成为当务之急。交 通数据分析的发展趋势正如TDWI大数据分析报告指出的，由 常规分析转向深度分析，如图1所示。 图1 分析的趋势 136 中国公共安全网 HYPERLINK http://www.secu.cc/ www.secu.cc 表1：交通大数据处理平台需具备的特性在交通数据分析方面 表1：交通大数据处理平台需具备的特性 在交通数据分析方面，生昕格交流了交通云数据处理平 台的一个具体应用实例，该平台基于廉价计算机构建集群，用 Hbase存储大数据，采用MapReduce进行分布式计算；Chen等 利用MapReduce框架对交通流预测；李磊等论述了基于云计算 的铁路数据中心的逻辑结构。这些工作没有涉及交通大数据 处理平台需要面对的各种应用场景以及系统构建应遵循的原 则，如没有涉及实时数据流处理问题。面对交通大数据，如何 存储、组织和管理并提供服务是ITS面临的一个挑战。本文针 对如何构建交通大数据处理平台开展研究，主要从使能技术 方面展开论述，不对具体业务系统进行评述。 时分析与处理又要支持复杂查询与深度分析所需的高性能、 低延迟需求。平台需具有高度容错性，大数据的容错性要求 在作业（Job）执行过程中，一个参与节点失效不需要重做整个 作业。机群节点数的增加会增加节点失效概率，在大规模机 群环境下，节点的失效不再是稀有事件，因此在大规模机群环 境下，系统不能依赖于硬件来保证容错性，要更多地考虑软件 级容错，同时增加系统的可用性。系统的开放性也是十分重要 的，在下一小节会知道ITS是一个巨系统，各子系统之间数据 交换、共享以及服务集成是必不可少的，同时要求系统支持迭 代开发，可不断更新/增加功能；系统服务不但专业人员可以使 用，业务人员也可以使用，分析可以实现大众化。 另