深度学习及其应用_ 课件 0525自动驾驶端到端.pptxVIP

自动驾驶端到端架构严骏驰上海交通大学

端到端自动驾驶–分类传统的车端自动驾驶方案系统模块化架构缺陷：信息损失级联误差冗余/重复计算上游任务并未直接优化驾驶目的！（检测到附近的车重要性远方的车）端到端自动驾驶：发挥神经网络端到端优化优势，利用海量数据，探索自动驾驶新方案

端到端自动驾驶–分类显式端到端：保留传统分工，但中间可导隐式端到端：略过大多数模块直接输出最终结果两大类：显式端到端vs隐式端到端优势：有中间可视化，易debug；易于在规控过程加入规则限制缺点：多任务训练不稳定，多任务模型相比单任务模型仍有性能损失Planning-orientedAutonomousDriving,CVPR2023AwardCandidateTrajectory-guidedControlPredictionforEnd-to-endAutonomousDriving:ASimpleyetStrongBaseline,NeurIPS2023优势：端到端优化最终任务缺点：开车出现错误难以debug

端到端自动驾驶–显式ST-P3：第一个基于环视相机的，具有显示中间表征结果的端到端自动驾驶框架感知：BEV语义分割–当前时刻车辆/行人+地图预测：未来时刻BEV语义分割–车辆/行人未来位置决策：感知结果+规则+预测结果-粗粒度规控-GRURefine-细粒度规控ST-P3:End-to-endVision-basedAutonomousDrivingviaSpatial-TemporalFeatureLearning,ECCV2022

端到端自动驾驶–显式UniAD-CVPR2023AwardCandidate(12/9155)：Transformer为媒介，显式的端到端完成大多数自动驾驶任务下游任务的Query，通过与上游任务Query的CrossAttention完成信息交互各项任务全面达到SOTAPlanning-orientedAutonomousDriving,CVPR2023AwardCandidate

端到端自动驾驶–显式UniAD-CVPR2023AwardCandidate(12/9155)：Planning模块MotionQuery作为先验根据Desire，对BEV特征做AttentionOccupancy+Kinetic约束的OptimizationPlanning-orientedAutonomousDriving,CVPR2023AwardCandidate

端到端自动驾驶–显式UniAD-CVPR2023AwardCandidate(12/9155)：DemoVideoPlanning-orientedAutonomousDriving,CVPR2023AwardCandidate

端到端自动驾驶–显式UniAD-CVPR2023AwardCandidate(12/9155)：可视化具备从上游错误中恢复的能力Planning-orientedAutonomousDriving,CVPR2023AwardCandidate

端到端自动驾驶–显式UniAD-CVPR2023AwardCandidate(12/9155)：可视化感知长尾问题仍然存在Planning-orientedAutonomousDriving,CVPR2023AwardCandidate

端到端自动驾驶–隐式CILRS：挑战：基于行为克隆的规控算法存在因果倒置问题方案：用图片网络的特征来预测车辆当前速度通过鼓励模型从视觉输入中察觉动态信息，避免模型仅仅依赖上一时刻速度做决策一定程度上缓解，但任未解决ExploringtheLimitationsofBehaviorCloningforAutonomousDriving,ICCV2019

端到端自动驾驶–隐式端到端模型输出形式探索-TCP：挑战：输出控制信号，擅长转弯，但碰撞多；输出轨迹信号，碰撞少，但拐大弯，例如90°直角弯会失败方案：多任务分支，且任务分支间进行特征交互Demo模型仅使用单一单目相机作为输入，发布时在CARLAAutonomousDrivingLeaderboard上取得了第一名的分数，远超其他使用多传感器输入的方法（多相机和激光雷达）Trajectory-guidedControlPredictionforEnd-to-endAutonomousDriving:ASimpleyetSt