基于深度强化学习的混合微电网群分层智能控制研究.pdf

摘要

随着分布式清洁能源的大规模普及，可再生能源以微电网的形式渗透入配电网，大量混

合微电网集中接入配电网馈线形成了混合微电网集群。微电网的集群化能够实现多个微电网

间的功率互补与协同控制，解决了单一微电网体量小、调节能力差的问题。但微电网群有能

量传输复杂、网间通信延迟、潮流耦合度高和数据维度爆炸等问题，这使混合微电网群的控

制和优化模型的建立和求解变得困难。本文针对混合微电网群的稳定控制和经济性优化问题，

提出了微电网群的多层智能协同控制系统，并基于分层协同控制框架，在混合微电网群能量

管理和电压稳定控制两方面取得了创新型成果。本文针对上述问题开展了以下具体工作：

（1）基于混合微电网群控制系统的拓扑结构，将微电网分层协同控制的思想拓展到混

合微电网群的层面，提出了基于交直流混合微电网群的分层智能协同控制系统。详细阐述了

混合微电网群的分层控制架构，从微电网集中控制中的数据维度高和源荷多重不确定性等问

题切入，介绍了基于神经网络模型训练的智能控制方法和其参与微电网控制的基本流程。

（2）在混合微电网智能控制流程的基础上，针对局部集中控制层中交直流混合微电网

并网状态下的能量管理问题，从混合微电网的运行维护成本和平衡稳定支撑成本切入，构建

了交直流混合微电网的实时能量管理成本优化模型。考虑到分布式电源的负荷的多重不确定

性等问题，采用了深度确定性策略梯度算法对能量管理模型进行求解，并通过经验动作引导

和探索策略优化改进了算法，提高了模型训练效率。最终，通过改进算法的训练获得了能够

实时快速实现混合微电网能量管理决策的神经网络模型，提高了混合微电网的经济效益。

（3）在混合微电网群分层控制的基础上，针对全局集中控制层中由源荷不确定性导致

的混合微电网并网节点电压波动问题，提出了一种基于多智能体深度确定性策略梯度法的混

合微电网并网节点电压稳定控制方法。其通过控制微电网群的风机和储能的逆变器来缓解电

力拥塞，提高电压质量。构建了节点电压稳定控制优化模型，在“集中训练、分散执行”的

框架下，通过智能体与环境的持续交互不断更新神经网络参数从而训练出最佳策略网络。最

后，通过数值仿真验证了所提方法的有效性，同时在提高混合微电网群电压稳定性的同时减

小了网络损耗。

本文构建了混合微电网群的分层协同控制系统，并基于分层协同控制框架和深度强化学

习算法解决了微电网群能量管理优化与电压稳定控制等具有现实意义的问题，为混合微电网

群的安全稳定运行和经济性优化提供了一种新方法。

关键词：混合微电网群，能量管理优化，电压稳定控制，深度强化学习

Abstract

Withthelarge-scalepopularizationofdistributedcleanenergy,renewableenergypenetratesinto

thedistributionnetworkintheformofmicrogrid,andalargenumberofhybridmicrogridsare

connectedtothedistributionnetworkfeederstoformahybridmicrogridcluster.Theclusteringof

microgridscanrealizepowercomplementarityandcoordinatedcontrolamongmultiplemicrogrids,

whichsolvestheproblemofsmallvolumeandpoorregulationabilityofasinglemicrogrid.However,

themicrogridclusterhasproblemssuchascomplexenergytransmission,inter-network

communicationdelay,highpowerflowcouplinganddatadimensionexplosion,whichmakesit

difficulttoestablishandsolve