大数据问题思路梳理.docxVIP

大数据问题思路梳理行业现状何为大数据？大数据有业界公认的4V属性，也是大数据的四个特点，体量Volume、种类Variety、速度Velocity、价值Value，IBM的4V理念将最后一个V定义为真实Veracity。互联网公司纷纷提出了自己的大数据解决方案，如：intel、微软、IBM、百度、阿里云等，并得到了广泛的应用，如淘宝基于hadoop组建了3000个数据处理节点的大数据处理平台。大数据在智能交通领域发展大约2012年起步，今年行业关注度升温，2013年5月在深圳举行的第四届智能运输大会和第十届中国（国家）城市智能交通论坛5上，深圳、广州、中科院等政府和科研机构对大数据的基本内涵、实施案例、未来前景等问题分别进行了介绍，这也是智能交通行业首次有大型会议讨论智能交通云计算、智能交通大数据应用。根据大数据体量大、计算速度快和数据分析有价值的几个特点，目前智能交通领域可以作为大数据应用或者能实际落地、市场前景较好的几个细分领域包括动态交通信息服务领域、交通指挥领域、交通视频监控领域。目前国内具有规模应用案例，明确提出发展路线的企业不多，但我公司的主要直接竞争对手均已开始进行大数据方面的相关研发工作，如下所示：2012年3月，易华录在天津成立全资子公司天津易华录信息技术有限公司，注册资金1.2亿，建设北京易华录信息技术有限公司智能交通云计算中心，专注于云计算与大数据处理的研发。2010年银江集团成立银江云计算技术有限公司，专注于云计算与大数据处理系统的研发。中兴智能交通于2012 年初正式发布云计算相关方案，其中基于云计算的城市交通诱导系统是主要方案。海康威视的云计算和大数据平台搭建选择了英特尔的大数据平台，其核心是具备大数据组织与管理功能的英特尔发行版Hadoop。博康在云计算和大数据方面的发展也是与英特尔合作，2013年4月，英特尔和博康成立“英特尔-博康智能智慧城市联合实验室”，打造的“博康智云大数据一体机”及“博康图云智能处理终端”。我公司现状目前公司产品涉及到数据存储时基本上全部采用关系型数据库-oracle，部分业务场景采用了内存数据库、实时数据库，在大数据处理方面基本处于空白状态。下面以城交产品为例进行大数据处理需求分析：城市交通指挥中心（管控与信号）经过10多年的智能交通建设，一线城市、包括一些二线城市已经开始逐渐建设城市交通运行指挥中心、交通应急指挥中心和城市交通管理指挥中心在内的汇集各类交通数据，并进行分析、处理，以满足政府交通决策、监管和公众出行服务等需求。管控平台目前在处理大量过车数据时就较为乏力，已经较严重地影响了用户体验，如：在10亿级数据规模的过车数据查询速度缓慢，理想状况下给出满足条件的结果能在3秒以内，但大部分情况下都要7到10秒，走不到索引的情况下要几分钟，甚至十几分钟、几十分钟。基于过车数据的降效分析功能，每天执行一次，每执行一次都需要2个小时左右，并在执行的过程中，数据库IO基本上处于满饱和状态，其他涉及到数据库的操作会异常缓慢。基于大量过车数据的研判分析、套牌分析及更深入的交警业务数据挖掘等业务功能的性能也不尽人意。交通信息服务目前定点采集的流量信息采用一般采用定期删除的方式进行处理，基本上无法长久保存，不利于后期的分析研判。将来智能终端用户通过移动终端进行路况查询，用户所在地区的交通移动状况通过终端软件自动上传到服务提供商的信息中心，当用户数量足够庞大时，关系型数据库支撑乏力。海量个性化导航信息的云端存储、分析，传统的关系型数据库也难以解决。交通视频监控视频图像的信息是大数据当中应用最广，数据含量最丰富的信息。随着各地方视频类设施设备大投资大建设，视频类大数据应用将会是非常典型、具有普遍性应用的领域。 现有视频数据存在数量大，人工检测非常少部分，大部分数据被当做垃圾信息丢弃、删除。大数据应用可以通过对车牌、车标、颜色、道路交通、人脸、车辆驾驶行为等图像的采集，通过图像识别、智能分析技术，识别出多数交通拥堵、环境污染状况、城市客流的基本状况、驾驶员的特征和车辆行驶轨迹等信息。并且这种信息结果是实时的。我公司在大量视频数据的分析方面基本上还处于空白状态。另外，具初步了解，博康在贵阳大项目中所采用的大数据处理方式基本上就是采用了目前大数据处理行业流行的Hadoop技术。问题分析与解决思路问题智能交通领域大数据处理的需求日益迫切（如济南1000个卡口建设中已经采用了目前行业内流行的大数据处理技术hadoop），而我公司在大数据处理方面基本还处于空白状态。城交的直接竞争对手均已开始进行大数据处理方案的研发或技术合作，在今年或明年很可能会提出其完整的城市级智能交通大数据解决方案，提升其在行业内的竞争优势。城交管控产品目前遇见的一些问题（主要是过车数据的检索及统计分析）在关系型数据库中进行解决