大数据技术平台在新能源车数据挖掘中的应用.docVIP

大数据技术平台在新能源车数据挖掘中的应用 　　摘要：本文首先介绍了大数据平台产生的背景和需要满足的条件，然后分析了研发和搭建大数据平台的技术研发重点，并提出了具体解决方案，最后通过攻克各种难题，成功的将大数据平台应用在了新能源车上，为以后大数据技术平台的推广和应用起到了一定的先导作用。 　　关键词：车联网；大数据平台；新能源汽车； 　　TM61；TP311.13 　　汽?数字化、互联网化、大数据应用、人工智能，将对汽车业及相关的长长的产业链产生难以想象的巨大变化和产业革命。车联网是由车辆位置、速度等总线参数与周边系统信息互联而构成的巨大交互网络。车辆完成自身环境和状态信息的采集后，籍由互联网技术，将自身的各种信息传输汇聚到TSP后台。仅依赖数目有限的人力与传统的统计方式方法难以对这样海量、实时而价值密度低的车辆信息进行分析和处理，只有借助大数据技术，才能实现对海量数据的监控与挖掘。车联网项目已经为我们解决了海量数据的产生、收集与发送的重要问题，但我们还需要一个高效方便的系统解决回传到后台的数据解析、重构、存储与计算等系列问题。 　　一个兼有柔性化和模块化的大数据平台正是在这样的背景下被设计并搭建起来。基于该平台开发的新能源车数据管理系统经过近1年的测试与使用，已经证明能有效处理TSP后台的新能源车数据，并多次为专业部门提供相应的离线数据挖掘服务。目前正在开发的XH3项目试制试验车数据监控系统亦是在该平台上进行设计。 　　一、技术研发重点问题与解决方案 　　大数据技术平台研发与搭建攻克了以下技术难题： 　　1.大数据平台的技术框架设计 　　大部分情况下，企业开发的大型数据库系统层级的软件应用均委托供应商并购买制定的商业数据库软件进行。数据流动的不确定性、系统运维的技术壁垒、机密数据及模型的潜在泄露风险，使得运用商业数据库平台存在一定的信息安全与数据资产风险。 　　为此，我们借鉴IT领域大数据的应用研究成果，使用开源的Hadoop生态圈软件，根据专业部门的使用需求与数据利用习惯及场景，基于开源的Hadoop2.0生态圈软件，构筑了一个兼有柔性化和模块化的大数据平台，并由大数据团队自主源代码开发实现了所有数据接口。该平台可根据业务量的增长与变更灵活的切换分析工具和底层扩容。如下图1所示： 　　2.离线地图与车联网参数叠加技术 　　相比车联网回传数据里面若带有地理坐标，则可以与地图大数据技术结合起来，通过把性能参数或分析结果在地图底图上显示出来。实现车、人、物等物联网参数在地图层上的统一。要实现该功能，我们需要获得地图数据源、地理数据叠加工具和地图交互功能技术支持。 　　针对地图数据源问题，考虑到公司内部大部分员工无法直接使用外网，所有简易的地图源如百度、高德等地图api无法引入，我们只好使用爬虫技术，在内网部署了一台地图服务器，对客户的地图数据需求进行实时网络抓取。然而，由于地图源为自定义形式，需要把实际坐标参数按照国内地理坐标偏移标准进行一定技术上的处理。 　　解决地图源问题后我们引入了openlayers技术。它是一个用于开发WebGIS客户端的JavaScript包。OpenLayers 支持用户自定义地图作为背景图，与其他的参数图层进行叠加，并可以通过远程服务的方式，将地图数据加载到基于浏览器的OpenLayers 客户端中进行显示。除可以在浏览器中帮助开发者实现地图浏览的基本效果，比如放大（Zoom In）、缩小（Zoom Out）平移（Pan）等常用操作之外，还可以进行选取面、选取线、要素选择、图层叠加等不同的交互操作。如下图2所示： 　　二、大数据技术平台在新能源车数据挖掘上的应用 　　为更好的对新能源车回传数据的进行分析与挖掘，我们基于大数据技术平台开发了某企业的新能源车数据管理系统。根据应用场景，分为在线分析与离线分析两大功能。 　　1.在线分析功能应用 　　在线分析功能主要指系统上通过浏览器直接可以操作的热数据分析功能，新能源车数据管理系统包括信息查询、故障查询、轨迹回放、油耗统计、电池系统管理、广州市充电桩信息集成等六大模块。在线分析功能主要用于协助工程师对指定vin码车辆进行全方位的历史参数检索、特定参数功能统计，在故障诊断、系统监控、轨迹回顾上发挥重要作用。如图3所示： 　　2.离线数据分析功能应用 　　离线分析功能主要指用户以分析委托方式对感兴趣的分析方案，在指定数据范围内，按一定模型需求进行分析计算。截至目前，系统录入ag新能源车数量超过2500台，日均在线车辆超过1000台，存储数据量过1T。可以支持如用户习惯、零部件或整车工况提取等需要大样本的分析计算。已为新能源、NVH、试验等部门级或新能源车主提供过分析服务。乘用车、集团也多次利用该系统对新能源车的在线管控