基于Spark平台城市出租车乘客出行分析.pdfVIP

基于Spark平台城市出租车乘客出行分析 朱彦1，2 （1.上海大学计算机学院，上海 200444；2. 甲骨文软件研究开发中心（北京）有限公司，上海 200433） 摘 要： 目前中国经济的迅速发展也催生了出租车行业的产生，通过对出租车轨迹数据进行分析可 以得到城市居民的行为特征，为城市建设提供解决依据。Spark数据分析技术有着快速迭代的优势 以及优秀的容错和调度机制，它可以将数据进行缓存并对海量的出租车行为数据进行分析，快速得 到结果。对出租车行为数据在Spark平台中的分析过程进行了模拟，希望能够为相关行业带来帮助。 关键词：Spark数据分析；出租车；时空特征；大数据；智慧城市 1 概述 务的需求和提高产品的品质。 随着生活水平的不断提高, 人们对出行的舒适 Spark是个基于内存的开源计算机框架, 为了更 度要求、 速度要求等也越来越高, 出租车因其快捷方 快速度的数据分析而于 2009年诞生于伯克利AM- 便的优势受到人们的喜爱。 同时随着交通发展和车 PLab,2010年时开源形成开发社区﹔进入2014年后, 载GPS设备的迅速普及, 每天出租车通过车载GPS Spark开源生态系统有了大幅的增长并拿到Apache的 [1] 顶级项目。 Spark具有强劲的发展势头, Spark已经成 数据都在源源不断地产生数据 。 出租车的GPS定位 系统将为出租车行为画像留下运行轨迹, 这也记录 为大数据范畴最为活跃的开源代码项目之一。 下了一个城市中居民的行为轨迹。 目前对人类时空 目前Spark大数据分析技术在国内外各大公司得 特征的研究正成为地理信息科学的一个研究热点, 到广泛应用, 如美国的谷歌、 亚马逊、 雅虎、 微软等 充分利用这些记录对本城市的居民行为的分析提供 公司, 中国的BAT以及旗下众多公司等,并在很多具 原始数据, 获得城市居民行为的时空特征,来配合城 体的大数据生产环境中得到了相当广泛的应用。 例如 市公共设施为城市交通拥挤问题提供缓解方案, 进 在淘宝网中的双十一购物狂欢节, Spark将处理交易过 一步为规划城市发展、 构建智慧城市的决策过程提 程中产生的大量的实时的数据﹔利用Spark对数据的分 [2] 布式处理,爱奇艺为其业务量日益增长的视频服务提 供科学理论依据 。 2 特征分析 供数据分析和存储的支持﹔百度也利用Spark进行大数 2.1 Spark大数据分析平台 据量网页搜索的优化的实践。 随着各行业数据量的与 [3] 2.1.1产生、发展与应用 日俱增,相信Spark将会应用到更多的生产场景中 。 随着第四次工业革命和信息时代的到来, 信息 2.1.2选择Spark大数据分析平台的原因 的传播速度不断加快,信息种类越来越丰富,信息产 截止2014年末, 中国拥有出租车高达137.00万 生量越来越庞大, 信息传递渠道和传递方式也不断 辆, 每天出租车积累的的数据是非常庞大的。 以某 增多﹔ 伴随时间的积累, 数据量开始以TB、 PB等的 市为例, 全市拥有出租车一万辆左右, 每隔20秒将 数据单位开始衡量。 但是如此巨大的数据与传统的 对出租车进行定位, 在一周内将产生2亿条轨迹记 数据分析工具和技术来说是不具备相应的管理分析 录, 庞大的数据用普通的数据分析工具是难以快速 能力的,难以对其进行处理,