基于深度强化学习算法的氢耦合电-热综合能源系统优化调度.pdfVIP

第45卷第1期电力自动化设备Vol.45No.1

2025年1月ElectricPowerAutomationEquipmentJan.2025

基于深度强化学习算法的氢耦合电-热

综合能源系统优化调度

11223

梁涛，柴露露，谭建鑫，井延伟，吕梁年

（1.河北工业大学人工智能与数据科学学院，天津300401；

2.河北建投新能源有限公司，河北石家庄050011；3.金风科技股份有限公司，北京102600）

摘要：为了促进氢能与综合能源系统中其他能源的耦合，提高能源利用灵活性，减少系统碳排放，提出了一种

氢耦合电-热综合能源系统（HCEH-IES）的运行优化方法。对HCEH-IES的各设备进行数学建模，并深入阐述

深度强化学习算法的基本原理及双延迟深度确定性策略梯度（TD3）算法的流程；将HCEH-IES的不确定性优

化调度问题转化为马尔可夫决策过程，并采用TD3算法将优化目标以及约束条件转换为奖励函数进行连续

状态空间和动作空间下的动态调度决策，形成合理的能源分配管理方案；采用历史数据对智能体进行训练，

并对比深度Q学习网络和深度确定性策略梯度算法获得的调度策略。结果表明，相较于深度Q学习网络和

深度确定性策略梯度算法，基于TD3算法的调度策略具有更好的经济性，其结果更接近于CPLEX日前优化

调度方法的经济成本且更适用于解决综合能源系统动态优化调度问题，有效地实现了能源灵活利用，提高了

综合能源系统的经济性和低碳性。

关键词：氢耦合电-热综合能源系统；可再生能源；深度强化学习；双延迟深度确定性策略梯度；能量优化管理；

马尔可夫决策过程

中图分类号：TM73；TK01；TK91文献标志码：ADOI：10.16081/j.epae.202405010

0引言力，促进风电消纳。为了应对系统存在的弃风、碳排

放较高等问题，文献［5］基于碳排放流理论提出了

随着全球传统化石能源日渐枯竭和可再生能源

电-气互联系统源荷互动的低碳经济调度模型，并利

技术的发展，世界各国积极调整能源结构，减少对传

用Gurobi求解器进行求解，验证了所提模型的低碳

统化石能源的依赖。将多能量流整合至一定区域，

［1］经济性和灵活性。文献［6］利用分段线性法将模型

促进多能源协同优化、协同管理日渐成为综合能

转化为混合整数规划模型，用于解决电转气（power-

源系统（integratedenergysystem，IES）转型升级的

to-gas，P2G）设备和风电场协同扩建的电-气互联IES

主要方向。氢气具有清洁高效、转换形式多样、利用

［2］的优化调度问题。虽然上述方法在多能源系统优化

范围广、资源丰富、热值高等突出优点，已成为可

决策中取得了显著的效果，但是在很大程度上依赖

再生能源耗散的主要储能载体之一。将氢能与IES

于可再生能源和负荷的精准预测，高质量的优化调

中其他能源相互耦合，对提高系统中能源的利用灵

度结果取决于