大数据在交通方面的应用.docVIP

大数据在交通方面的应用 周琦 高德交通信息事业部数据架构师 课程前言 大家好，非常荣幸能来这个大会跟各位同仁分享高德软件在大数据交通方面应用的成果和经验。我下面就几个问题，就是说高德软件目前拥有哪些数据，以及高德交通现在怎么实时处理大数据、分析大数据和交通报告、数据挖掘的一些经验。 一、高德交通拥有哪些数据 先说高德，高德本身是一家地图软件起家的，一家是纯粹的传统测绘企业，我们是中国最早一批获得测绘资质的公司。开始我们做全国地图数据的采集，然后我们开始是面向行业用户，后来慢慢面向公众服务，包括现在的高德地图几乎是我们在手机终端上最常用的几种导航软件之一。因为我们为公众提供导航服务的话就离不开对交通信息数据的使用。高德开始从事交通信息比较早，在2007年的时候就开始投入资源，来做全国交通信息的采集和发布。当时城市还没有现在这么堵，但是我们发现交通日益成为对公众出行体验影响很大的方面，所以我们就和全国很多大厂商进行合作。我们采用置换、给买的方式，获取他们包括出租车、物流车GPS的数据。所以到现在的话，我们基本上已经能够对全国110多个城市，以及全国高速路网发布交通信息。大家可以看到，我们拿的高德地图打开，基本上全国范围都可以覆盖一些路况，包括高速公路上的拥堵也可以很快的反映出来，全国高速覆盖能力超过90%，我们最近也发布了高德的一些交通报告。 我这里面所说到的大数据，目前所说的大数据主要是针对采集的浮动车回传数据，但是整个高德集体并不止这些数据。高德包括其他的业务，我们有包括用户的定位，用户的访问以及很多的地图数据，这些都没囊括在内。但是就我们采用的浮动车数据已经很大了，我们每天会采集数十亿次的GPS的回传，折算成公里程大概是100亿公里的里程。我们现在的数据来源主要分成两种，一种是手机终端导航的回传，还有一种是我们以前采购的一些行业出租车，包括物流车辆的一些数据。他们这些回传数据对于我们发布交通信息非常有用，上午的时候发改委陈主任就提到了，我们采购这些数据可能面临着成本的问题。确实，我们在采购，一家一家的谈合作，我们就是为了打造更好的交通信息。 二、如何实时处理数据 所以说我们现在通过这些海量的数据，数十亿次的数据已经能做一些东西了。我们拿到了这些数据，对我们管理的数据来说，其实提出了一个很大的挑战。刚才说到大数据所谓传统的5V，我们有非常强大的数据，但是如何管理和使用这些数据，提取出它们的价值，是我们现在正在做的事情。这里面当然覆盖的比较广了地包括如何采集、管理、应用、挖掘，这个进来我们都会覆盖到。 这是我们现在大块的存储架构，高德2014年被阿里巴巴集团全资收购了，所以说进入了阿里集团之后，我们对大数据的处理和基础架构的能力也得到了提升，现在高德所有用户的回传数据都已经进入了阿里的云系统，包括ODPS和实时计算平台，已经应用到了我们的业务之中。 然后我们能够对这些用户回传的数据，我们可以提取什么样的价值呢？目前我们一看到导航，第一想到的是打开地图软件，看到路上有红、黄、绿，包括之前很多同仁都介绍了一些路况的探测和实时采集的信息，这些目前是高德最典型的应用。但是用户打开地图不是为了看红黄绿，而是要指导出行，所以我们重要的是要结合交通路况，给用户定制，节约他的出行成本的方案。我们的交通路况是怎么得到的呢？我们交通路况是实时回传，通过每秒钟回传数万的GPS，再实时的进行快速的流转，进行实时计算，我们还要迅速的把交通信息发布到用户的终端，由终端感知到，并且能够在导航中进行应用，然后才能创造出价值。大家可以看这两个示例，这是三环路比较拥堵的时候，现高德有个导航方案，我们会建议他走另外的方案，可以为他节省更多的时间。 而且我们也有实时的一些路况事件的结合，有多元的数据，除了回传GPS数据，还有交通实践，用户上传的和大数据采购的一些事件，如果突然间前方发生了道路的封闭，或者说有车辆碰撞，我们也会在导航中尽量为用户规避这种不便。 这是我们通过从大数据的采集到处理、计算，到最后的应用，可以说我们已经初步为解决中国城市地面道路拥堵问题做出了我们企业的贡献。可以说我们通过这种动态的导航，其实我们不光解决实时交通信息，在导航的时候我们还会做一定的预测，结合实时加预测的方案，我们更加智能的引导着用户的出行，让他尽量规避拥堵的路段，以免加剧城市的拥堵。 三、如何运营分析大数据 刚才提到了我们还有一个问题，就是数据如何去运营，去管理，如何保证数据的准确性其实是很大的难题。我们有这么海量的数据，对我们的管理能力提出了新的挑战，我们不仅要发布交通信息，还要有实时验证数据的质量，和已经发布出来的路况准确性。以前我们去进行验证，实际上是很痛苦的事情，最传统的方式是我们开一辆车出去，我们看是不是拥堵，这种传统的方式耗费的成本极大。我们现在基本上已经是自动化的测试了