基于分层深度强化学习的多能虚拟电厂区域消纳优化策略.pdfVIP

基于分层深度强化学习的多能虚拟电厂区域消纳优化策略.pdf

第53卷第20期电力系统保护与控制Vol.53No.20

2025年10月16日PowerSystemProtectionandControlOct.16,2025

DOI:10.19783/ki.pspc.241453

基于分层深度强化学习的多能虚拟电厂区域消纳优化策略

12314

张宁，杨凌霄，李炫浓，胡存刚，孙秋野

(1.安徽大学电气工程与自动化学院，安徽合肥230601；2.安徽大学人工智能学院，安徽合肥230601；

3.国网肥西县供电公司，安徽合肥231299；4.东北大学智能电气科学与技术研究院，辽宁沈阳110819)

摘要：虚拟电厂(virtualpowerplant,VPP)作为一种新型能源管理模式，将分布式能源资源进行智能化集成和优化，

其对于促进可再生能源消纳、能源结构的优化和能源系统的绿色化具有重要意义。以多能虚拟电厂为研究对象，

以实现能源区域消纳为研究目的，提出了一种基于分层深度强化学习的多能虚拟电厂区域消纳优化调度方法。首

先，提出了一种非直接多能虚拟电厂区域消纳运行框架，确保用户参与自主性的同时避免用户信息公开化。其次，

基于多能耦合以及多时间尺度特性构建虚拟电厂内的联合交易机制，避免了因忽略能源传输特性导致的交易失败，

实现跨能源类型的灵活匹配，在完成区域自消纳的同时提高自身收益。最后，提出基于分层深度强化学习的优化

求解策略，以解决所提模型由于大规模状态动作空间以及稀疏奖励特性带来的求解难题。通过仿真算例验证了所

提方法的有效性，表明所提虚拟电厂调度策略可以有效实现区域自消纳。

关键词：虚拟电厂；多能交易；多时间尺度；分层深度强化学习

Regionalconsumptionoptimizationstrategyformulti-energyvirtualpowerplantsbasedon

hierarchicaldeepreinforcementlearning

12314

ZHANGNing,YANGLingxiao,LIXuannong,HUCungang,SUNQiuye

(1.SchoolofElectricalEngineeringandAutomation,AnhuiUniversity,Hefei230601,China;2.SchoolofArtificialIntelligence,

AnhuiUniversity,Hefei230601,China;3.StateGridFeixiCountyPowerSupplyCompany,Hefei231299,China;

4.IntelligentElectricalScienceandTechnologyResearchInstitute,NortheasternUniversity,Shenyang110819,China)