面向序列的 SAC 控制在电气化动力总成中用于发动机燃油消耗优化.pdfVIP

面向序列的SAC控制在电气化动力总成中用于发动机燃油消耗优化

∗

WafeeqJaleel,MdRagibRownak,AtharHanif,SidraGhayourBhatti,QadeerAhmed

CenterforAutomotiveResearch,TheOhioStateUniversity

930KinnearRoad,Columbus,43212,OH,UnitedStates

jaleel.5@

Abstract耗，而自适应ECMS(Onori,Serrao,andRizzoni2010)

进一步提高了其适应性。模型预测控制（MPC）(Sam-

随着混合动力电动汽车（HEVs）在重型卡车中的应用越

来越广泛，适应性和高效的能量管理对于减少燃油消耗pathnarayananetal.2009)优化了能源使用，考虑了约

同时保持电池电量以实现长时间运行至关重要。我们提束条件，而庞特里亚金最小原理（PMP）(Kim,Cha,

出了一种基于SoftActor-Critic(SAC)算法的新强化学andPeng2010)提供了更快的解决方案，但仍对于实时

本习(RL)框架来优化串联式HEV的发动机控制。我们将应用来说较为复杂。

译控制任务重新定义为一个序列决策问题，并通过在演员近年来计算能力和学习算法的进步使得数据驱动

和评论家网络中加入门控循环单元（GRUs）和决策转换的能量管理方法在混合动力车辆控制中成为可能(Hu

中器（DTs），以捕捉时间依赖关系并改善长期规划。为了etal.2019)。具体而言，强化学习（RL）算法如DDPG、

1评估鲁棒性和泛化能力，我们在不同的初始电池状态、驾TD3和SAC表现出了更好的性能，其中DDPG提高

v驶周期持续时间、功率需求和输入序列长度下训练模型。

4了效率但稳定性不足(Guoetal.2020;Yao,Yoon,and

7实验表明，在高速公路燃油经济性测试（HFET）循环中，Hong2023)，而TD3通过减少过度估计偏差来提高稳

8基于DT的演员和基于GRU的评论家的SAC代理在节

4油效果上与动态规划(DP)相差1.8%以内，而同时在演定性(YaoandYoon2022;Zhouetal.2021)。SAC在

0.员和评论家中使用GRUs的SAC代理以及全连接网络最大化奖励和熵（随机性）方面超过了两者，使其有可

8(FNN)演员-评论家代理则分别相差3.16%和3.43%。对能得到接近最优的解决方案(Sunetal.2022;Rolando

0于未见过的驾驶周期（US06和重型柴油卡车(HHDDT)etal.2024;Li,Cui,andCui2022)。

5

2巡航段），能够泛化的序列感知代理始终优于基于前馈网然而，基于RL的HEV控制器通常使用前馈神经

:络(FFN)的代理，突显了它们在实际设置中的适应性和网络，忽略了驾驶模式中常见的时序依赖关系。在RL

v

i鲁棒性。中的时间序列建模，采用递归神经网络（RNN）(Liu

x

retal.2024)、(Ni,Eysenbach,andSalakhutdi