基于工况自适应学徒强化学习的混合动力汽车能量管理策略研究.pdfVIP

摘要

城市道路交通是车辆能耗较高的区域之一，混合动力汽车（HEV）对于提升

能效经济性具有较现实的意义。但由于复杂多变的道路交通环境，传统的HEV

能量管理策略在工况适应性、工况预见性方面存在局限性。为此，本研究依托车

路云协同技术，提出了一种基于学徒强化学习（A-RL）的HEV预见性能效优化

策略，力图通过开发新型的工况预测模型、专家示范模型，实现对车辆能量管理

策略的自适应。

首先，借助天津大学车路云协同平台，为本文的研究提供了丰富的数据来源

和验证场景，该平台包括网联化HEV和路侧感知、通信设备；建立了3种不同

类型的HEV模型，为研究能量管理算法提供了对象模型。

其次，针对车辆未来行驶工况的时变性与非线性特征，基于车路协同感知和

车云协同优化系统提出了一种考虑驾驶风格、交通信息与历史数据的工况迭代预

测算法来支持A-RL策略训练环境的构建。在云端利用多元高斯过程回归（GPR）

对不同的驾驶风格下的车速进行全局预测；通过对实际驾驶场景的学习，以迭代

学习的方式对多个GPR子模型进行融合；并基于长短期记忆（LSTM）神经网络

建立了局部车速预测模型；利用马尔可夫转移概率矩阵将全局和局部预测结果进

行融合。试验结果表明，在路口场景下该方法能有效提高预测精度，与传统GPR

方法相比，预测误差可降低70.67%。而在多路口场景中的结果表明，GPR-LSTM

的融合预测结果相较于GPR的全局预测，降低了RMSE误差约35.2%。

再次，针对传统深度神经网络训练专家示范（ED）模型时所产生的协变量偏

移问题，提出了一种能适应不同工况的域自适应元学习（DAML）来进行对抗式

训练。采用动态规划（DP）离线计算出全局最优的专家示范数据，来训练DAML

模型，元学习则是通过最小二乘法在线搜寻最优网络结构从而实现；通过引入工

况判别模型与元学习进行零和博弈，从而使得训练出的ED模型具备工况自适应

能力。仿真结果表明DAML可以有效解决协变量偏移所带来的训练过拟合问题。

最后，针对强化学习（RL）在HEV能量管理策略上采样效率低、稳定性差

等问题，提出了一种基于A-RL的HEV能量管理策略。采用上述ED模型输出

的示范动作对RL策略更新的梯度进行改进。在3种不同HEV模型上的验证结

果表明，所提出策略训练过程的收敛速率得到显著提高：基于学徒式深度确定性

策略梯度（A-DDPG）的收敛速率平均提高了34.9%，学徒式双延迟深度确定性

策略梯度（A-TD3）在功率分流式HEV中的收敛速率提高了23.0%。由于A-

DDPG的EMS能有效提高发动机在高效区间内的运行频率，故其可以在保持终

值SOC（StateofCharge）的前提下，将串联式混合动力巴士（HEB）的燃油经

济性提高0.2-2.7%，提高了串并联式HEV的燃油经济性约9.8%。本研究还验证

了该策略的工况适应性和预见性对能效提升有着重要作用。

综上所述，本研究改善了HEV能量管理策略难以适应不同道路工况的问题，

采用GPR-LSTM融合车速预测，实现了对车辆道路工况的精准预测，将所预测

的工况用于参与A-RL的环境构建。通过DAML模型嵌入，实现了A-RL能量管

理策略的工况自适应性，为网联化HEV的能量管理策略提供了有益借鉴。

关键词：混合动力汽车，工况预测，能量管理，学徒强化学习

ABSTRACT

Urbanroadtrafficisoneoftheareaswiththehighestlevelsofvehicleenergy

consumption.Hybridelectricvehicles(HEVs)areapracticalsolutionforimproving

energyefficiencyandtheeconomy.However,duetothecomplexandever-changing

roadtrafficenvironment,thetraditionalHEVenergymanagementstrategyhas

limitationsinterm