无人驾驶与Serverless工作流的碰撞融合.pdf

无人驾驶与Serverless 工作流的碰撞融合 目录 •背景信息 •解决方案 •实际案例 •小结 背景信息 无人驾驶的基础架构场景分析 • 海量的数据 图森的无人驾驶卡车每天在全球多地进行全天测试和试运营，这会产生大量的数据包。 • 多地的数据传输 数据采集地和研发基地分布于全球各地，需要将数据自车端、测试基地传输至研发服务所在的本地机房或云端存储。 • 复杂的数据处理 将原始数据包进行复杂的数据处理流程以满足各个业务场景的使用需求。 • 频繁的系统更新 在无人驾驶系统研发过程中，系统会进行高频的迭代。每天都会重复进行系统构建、仿真测试、性能评估，并在所有测试车辆上进行模块 更新。 背景信息 数据入库流程痛点分析 • 入库可用时间短 每天一个测试基地大概需要入库 的数据，平均每天每次只有 小时的数据入库时间。 • 入库任务重 入库流程涉及大量的数据处理操作，有些任务可以并行操作，而有些任务必须在完成前序步骤后才能开始执行。 • 入库前序子环节出错后，会对后续子环节造成严重影响 任何一个处理环节出错，都会对后续环节造成严重影响。因此，对数据全流程的处理日志追踪变得格外重要。 背景信息 模型训练流程痛点分析 • 流程触发需要人工介入 算法工程师需要人工监控每个步骤的完成状态，并在完成后手动调用触发下一个步骤的执行。 • 缺乏失败后的处理机制 某个步骤执行失败的情况，需要算法工程师人工发现失败，并重启任务，对时间成本是极大的浪费。 背景信息 流程痛点分析 • 需要使用大量不同类型的计算资源 无人驾驶系统的仿真测试同时使用了阿里云端 资源和本地资源来进行仿真 测试和硬件测试。 • 车辆处于弱网络环境 车端会处于一个只有 网络的弱网络环境，在弱网络环境下更新运营车辆的镜像、地图等文件需要参照车联网方案进行特殊 实现。 实际案例 数据入库流程介绍 • 数据同步 当无人驾驶卡车完成道路测试并回到测试基地时，会自动触发数据同步程序，将采集的数据包同步至本地存储。 • 数据处理 数据同步完成后会对进行数据预处理、数据清洗、生成数据报告等一系列数据处理流程。 • 数据转化 车端下载的数据包需要转化成本地数据库可读的数据格式。 • 数据回传 转化后的数据同步至本地的二级存储中心和全国各地的数仓中心。 实际案例 数据入库流程介绍 视频 实际案例 模型训练流程介绍 • 数据处理 对自动驾驶道路测试采集的数据包进行自动化处理工作，清除一些无用、重复、低质量的数据后上传至数据标定中心等待标定。 • 模型训练 算法工程师可创建模型训练任务，查看训练进度和结果。还可以保存训练作业参数，以便下次可以直接调整预设作业的参数，而不必再次 键入。 • 模型管理 训练结束后，用户可以用统一的方式保存每个培训作业生成的模型。 • 模型部署 算法工程师需要在前一天将测试结果得分最高的模型进行转化，并部署到车端服务器中，用于完成第二天的出车测试工作。 实际案例 模型训练流程介绍 视频 实际案例 流程介绍 代码构建、集成测试、仿真验证、性能评 估、持续部署 小结 对我们的帮助 • 更为便捷的服务编排方式 开发者可以只关注于每个步骤的任务执行逻辑的编写，并可视化的展现出服务的流程图，便于开发者检查确认服务编排逻辑的正确性。 • 丰富的服务集成 提供了原生的集成支持并在不断的丰富支持的服务范围提供给我们更多的选择，针对自建服务也提供了推荐的集成方式。 • 可视化的监控 提供了可视化的页面来查看工作的执行状态，对每一个步骤的输入输出都进行了记录，非常便于定位和排查服务故障。 小结 未来应用畅想 • 车联网系统 （ ） • 货运订单系统 谢谢聆听！ 20