关联用户驾驶的整车道路试验大数据分析系统.docxVIP

关联用户驾驶的整车道路试验大数据分析系统

摘要：为了在竞争日益激烈的汽车市场上取得成功，汽车制造商必须高度响应消费者的需求，并进一步加快新样车的设计验证周期。通过收集网联车辆的用户驾驶数据，促进数据驱动的试验认证，可以满足客户不同驾驶习惯的需求，但测试工程师面临着利用用户驾驶大数据的挑战。这促使一个专门的道路试验大数据分析系统的提出，为工程师获得对关联用户驾驶的整车道路实验提供有效途径。该系统不仅屏蔽了工程师操纵大数据的技术障碍，而且还帮助他们通过有指导的数据科学过程挖掘有价值的信息。该系统已被一些汽车工程师实际用于他们的道路试验用例，肯定了其灵活即用的功能和令人印象深刻的效率。

关键词：道路试验大数据用户关联

整车道路试验（VehicleRoadTest，VRT）[1]是指在公共/测试道路上进行一定强度的预生产车辆驾驶操作，以评估车辆的设计功能和性能。VRT与仿真测试相比，具有更强的客观优势，通常被认为是原型车辆距离交付市场阶段的“最后一公里”。未关联用户的VRT可能导致某些子系统的过度设计或者欠设计[2]。这是由于消费者对主机厂过去售出车辆的使用信息未能有效向车辆研发与测试工程师反馈的结果。故朱佳琦[3]提出了基于用户使用数据分析的整车道路试验优化方案，江毓等人[4]提出了一种关联用户使用情况的相对合理的试验场整车耐久性试验方案。用户关联的VRT可用于测试认证规范的制定，以发现和消除潜在的设计缺陷，从而减少售后索赔和召回成本。

车联网[5][6]允许从开放道路上运行的车辆中收集车辆参数，为关联用户驾驶提供了数据收集渠道。然而，随着长期和高频的数据积累，研发工程师正面临着处理大数据的挑战。利用大数据技术可以为汽车行业提供转型的机会。2014年初，JohansonMathias等人[7]开发了一个大数据框架，以探索利用汽车大数据进行知识驱动的产品开发。龚蓉军[8]开发了一个针对道路试验的数据平台，使用Hadoop、Hive和Spark工具实现数据收集、存储、分析和报告展示。然而，当将大数据技术应用于VRT领域时，以往的系统忽略了领域专家的学习成本，导致可用性体验较差。更糟糕的是，没有定制的分析组件来整合领域知识并协助业务专家应用到具体的案例级分析。

本文的目标是设计和实现一个大数据科学指导的VRT系统以屏蔽大数据的复杂性，使用户能够直观地探索、分析和可视化数据。如图1所示，该系统扮演着利用大数据科学指导工程师进行关联分析的最后一公里的角色，为关联用户驾驶的道路试验分析提供更直观的信息挖掘过程。

2系统概述

图2为该系统的技术架构，其将整个系统分为三层架构：

大数据平台层。我们选择了Hadoop、Spark、Oozie用于分布式数据存储、计算和作业调度。该平台基于SparkSQL和ML来执行分析操作。Spark的数据源是存储在HDFS文件系统上的汽车传感器数据。然后，选择Oozie工作流调度器来调度特定作业（如ScalaSpark程序和Pyspark脚本）。一旦后端服务提交了一个Spark作业，这个作业将立即被发送到相应的Oozie调度器。这个平台层主要用于探索和分析从全国客户处收集的大量真实驾驶数据。

混合服务层。中间层是一个混合的Java和Python服务，用于本地和集群计算，实现自动和智能的数据驱动分析。在我们的设计中，提供了两种后端服务。基于Python的分析（Python-basedAnalysis，PA）和基于Java的分析（Java-basedAnalysis，JA）服务。PA服务可以提交Spark分布式作业，也可以用本地进程服务处理本地数据。这个由Flask提供的本地进程服务结合了pandas和scikit-learn等软件包，用于提供快速统计或机器学习API。同样，JA服务也有两个分支，其本地进程服务在处理其他事务性功能方面具有优势。在某些情况下，本地数据分析仍然是必要的，测试工程师希望上传一个本地MDF文件，倾向于更节省时间的本地分析。当分析任务返回时，结果被提交给系统的展示层。这个服务层分别处理来自测试车辆和售出车辆的数据样本的实时计算任务。

展示层。我们选择使用一个基于web的用户界面，其采用了React框架实现，并使用Echart插件来绘制图表。这个展示层能够实现丰富的互动操作和选项，以指导数据科学流程。同时，如果定义了一个分析任务，对数据进行的分析类型将被记录。根据所要求的分析类型，分析任务的结果可以是不同种类的图表或图形，通过基于web的用户界面进行组合并提供给用户。

3系统重点实现描述

该系统从业务目标的确定，数据准备，先样本后总体分析以得出结论，最后以web报告的形式可视化四个主要阶段辅助工程师快速利用大数据手段进行业务分析。

3.1业务目标

VRT分析的一个共同