DDPG在封闭场景自动驾驶决策规划中的新应用.docxVIP

DDPG在封闭场景自动驾驶决策规划中的新应用

目录

文档概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.1.1自动驾驶技术发展趋势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.1.2封闭场景自动驾驶特性分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

1.1.3智能决策规划算法研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

1.2.1基于强化学习的决策规划方法．．．．．．．．．．．．．．．．．．．．．．．．．．22

1.2.2DDPG算法研究进展．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

1.2.3封闭场景自动驾驶挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

1.3研究内容与目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

1.3.1主要研究内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

1.3.2具体研究目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

1.4技术路线与创新点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

1.4.1技术路线．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

1.4.2创新点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

相关理论与技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

2.1深度强化学习基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

2.1.1强化学习基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

2.1.2深度学习网络结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

2.1.3常用强化学习算法比较．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．55

2.2DDPG算法原理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．59

2.2.1DDPG算法概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．61

2.2.2离散动作空间处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．63

2.2.3基于经验回放的算法改进．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．65

2.3自动驾驶决策规划框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．66

2.3.1决策规划系统架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．69

2.3.2环境感知与状态估计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．72

2.3.3规划算法分类与应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．79

基于DDPG的封闭场景自动驾驶决策模型．．．．．．．．．．．．．．．．．．．．．82

3.1模型总体设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．84

3.1.1模型输入与输出．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．87

3.1.2模型网络结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．89

3.1.3模型训练策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．95

3.2状态空间构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．96

3.2.1感知信息融合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．98

3.2.2高级认知状态表示．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．102

3.2.3动作意图识别．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．102

3.3动作空间设计．