计及高渗透率光伏消纳与深度强化学习的综合能源系统预测调控.pdfVIP

2024年10月电工技术学报Vol.39No.19

第39卷第19期TRANSACTIONSOFCHINAELECTROTECHNICALSOCIETYOct.2024

D0I:10.19595/ki.1000-6753.tces.231320

计及高渗透率光伏消纳与深度强化学习的

综合能源系统预测调控

陈明昊1朱月瑶1孙毅1讠

谢志远2吴鹏3

（1.华北电力大学电气与电子工程学院北京102206

102209)

2.华北电力大学电气与电子工程学院保定0710003.国网能源研究院有限公司北京1

摘要深度强化学习（DRL）是支撑园区综合能源系统（PIES）自适应调控其多能转换与存

储设备，以消纳光伏发电及满足用户多能需求的重要技术。然而，DRL智能体通常利用其与PIES

的实时环境-动作交互来调控其设备运行状态，难以在高渗透率光伏场景下考虑尖峰光伏发电并预

留充足的储能资源。基于模型预测控制理论，该文提出了一种基于DRL与光伏发电区间预测的

PIES优化调控方法。该方法面向电-气-热园区综合能源系统，利用时序卷积网络与核密度估计得

到光伏发电区间预测结果，并采用柔性Actor-Critic（SAC）算法构建PIES预测优化调控模型。该

模型将光伏发电预测区间构建为SAC智能体状态空间，通过迭代试错训练获得PIES多能存储与

转换的动态调节策略，从而优化光伏消纳率和运行成本。仿真实验表明，所提方法通过动态调节

电、气、热三种能源转换设备的运行功率和预留三种储能设备的储能量，可有效提升PIES在高渗

透率光伏场景下的消纳率，优化其运行经济效益。

关键词：综合能源系统深度强化学习柔性“行动器-判别器”时序卷积网络

各模型预测

控制

中图分类号：TM73

0引言动方法。其中，基于模型的随机优化、鲁棒优化等

IES/PIES调控方法通常基于特定调控规则、随机规

光伏发电在构建“清洁低碳、安全高效”的能

划、鲁棒优化等数学解析理论，构建IES/PIES调控

源体系中发挥着越来越重要的作用。当前我国光伏

问题的确定性数学模型或单/多目标优化问题。例如，

装机量已突破4.71亿kW[1，仅依靠电力系统调节

ChenRuijun等[4]提出一种改进多目标优化算法来提

已无法有效消纳光伏出力。园区综合能源系统（Park

IntegratedEnergySystem,PIES）作为连接配电网与升电-热-氢-冷综合能源系统的运行经济性、能效和

碳排放水平；曾艾东等[5]针对IES内热力管网的能

多能用户的纽带，通过相互转换电力、热力、燃气

量惯性，设计一种双层时间尺度的电-热IES调控模

等能源，不仅可以提升不同类型能源的利用效率与

型；L.R.Robert等[6]基于改进量子行为轻量搜索算

系统经济效益，还可以提升分布式光伏发电的就地

法来调控水力-热力-风力混合发电系统，在服从机

消纳率[2-3]。建立高效、