智能车双总线架构与自学习.pptx

智能车双总线架构与自学习

智能车双总线架构与自学习智能车双总线架构宇通厂区通勤试验基本情况试验数据预处理用深度学习生成驾驶记忆棒验证：用已有驾驶态势图搜索认知箭头

驾驶态势融合双驾双控工作总线CAN总线认知板块雷达数据预处理图像数据预处理导航数据预处理控制板块执行板块自主决策感知板块交互板块驾驶员干预和工作总线相连的软件模块1KMbps进程监控1虚拟交换1交互控制程序员调试模块黑客干预远端车主干预乘员交互日志管理

驾驶态势融合双驾双控自学习/调试总线CAN总线认知板块雷达数据预处理图像数据预处理导航数据预处理控制板块执行板块自主决策感知板块驾驶员干预和自学习/调试总线相连的软件模块1KMbps进程监控2虚拟交换2自学习板块驾驶记忆棒生成搜索匹配引擎比对库生成交互板块程序员调试模块远端车主干预日志管理交互控制远端服务响应乘员交互

轮式机器人向经验驾驶员学习开车的过程经验驾驶员通过视觉等形成的当前驾驶态势图3路机器视觉综合形成的当前驾驶态势图驾驶员操控油门制动方向盘驾驶态势——认知箭头图对库生成驾驶态势认知箭头抽象当前的认知3路机器视觉综合形成的当前驾驶态势图驾驶态势驾驶记忆棒搜索匹配引擎认知箭头机器人操控油门制动方向盘自学习过程：统计学习和进化学习过去经历的场景

自学习总线交互板块汽车CAN总线工作总线感知板块认知板块控制板块虚拟交换2进程监控2虚拟交换1进程监控1程序员调试交互控制乘员交互远端服务响应自主决策红绿灯检测导航路权检测导航路权检测定位导航路权检测定位图像数据预处理雷达数据预处理GPS数据预处理导航路权定位驾驶态势融合1KMbps1KMbps驾驶员干预执行板块软件模块与双总线连接关系图定位远端车主干预调试总线双驾双控自学习板块驾驶记忆棒生成比对库生成搜索匹配引擎日志管理

双总线实现要点每个模块都连到工作总线和自学习总线；物理支撑两者分开：工作总线在以太网1上，自学习总线在以太网2上；信息流向：只有交互控制模块对双总线是双跨的；其它模块对双总线在逻辑上是隔离的；唯有交互控制模块可实时干预智能车的行为控制！宇通车实现方式：硬件：双路由器，双网卡软件：新版虚拟交换发送数据选取网卡

宇通厂区实验基本情况 3月下旬，宇通智能车客车在宇通厂区进行了宇通厂区的程序开发调试工作。时间： 2016.3.14-2016.4.1地点： 宇通老厂区、新厂区人员： 61所8人，宇通9人

通勤试验数据目录雷达数据：四线雷达数据、前方雷达数据、左右雷达数据MobileEye数据：障碍物数据、车道线数据摄像头数据：前方摄像头、左右耳摄像头数据GPS+IMU数据车辆自身状态数据：车辆油门开度、制动开度、方向盘转角数据

宇通数据预处理数据过滤与清洗预处理方法：过滤与清洗预处理结果分析

数据预处理每一天车辆产生数据：10.0GB(10,786,856,759字节)Can总线车身数据：59.2MbLux雷达数据：588MbMobileEye数据：30.4MbNavigation数据：54.0Mb3个Sick数据：1482Mb图像数据：8.21GB(8,823,053,329字节)每天数据有4小时共有5天的车辆数据

数据预处理其中，噪声数据包括：时间戳匹配不上的数据数据有效位不正确的数据路途中临时停车的数据，速度小于一定值去除噪声数据噪声数据占据总数据的1/10图对的变化更加清晰明显

数据预处理数据分类：直道数据，包括4.86Gb弯道数据，包括2.88Gb停站/起步数据，包括1.26Gb处理了3月24日一天的数据仅仅分为了三类通过人工切分

4用深度学习生成驾驶记忆棒初步问题：图对量有多大量要不要用卷积神经网络图对的特征及其提取方法 跟踪性，耗油量，舒适度分类器的形成方法

深度学习数据说明一共提取了153,924帧图对图对信息：车辆轨迹认知箭头态势图：二维数组导航轨迹：一维数组道路边沿：一维数组车道线：一维数组(直道使用)轨迹：一维数组箭头：特征值

深度学习数据说明数据分类：直道数据，包括5.4Gb(图对83118帧)弯道数据，包括3.2Gb(图对49256帧)停站/起步数据，包括1.4Gb(21550帧)用什么数据：抽象数据：车道线、道路、一次规划、障碍输出：车辆实际行走路线驾驶认知箭头输出行为模式

使用什么样的网络NeuralNetworkAutoEncoder:压缩编码器DeepBeliefNets:深度置信网络ConvolutionalneuralNetworkRecurrentNeuralNetworks:循环神经网络LSTMShowandTellANeuralImageCaptionGeneratorDeepLearn