基于深度强化学习的新型电力系统自主优化调度技术研究.pdfVIP

摘要

随着“碳达峰”、“碳中和”目标的推进，我国加快构建以新能源为主体的

新型电力系统。新能源渗透率的不断提高和电力电子设备的广泛接入使得新型电

力系统的结构日趋复杂，为高效的能源管理和调控带来了巨大的挑战。本文立足

于深度强化学习相关技术理论，针对新型电力系统的安全优化调度问题和经济优

化调度问题进行深入研究，并针对具体应用场景进行分析与设计。

本文首先介绍了深度强化学习方法的基础原理，包括深度学习和强化学习的

基础理论和特点。重点围绕强化学习理论展开推导，具体描述了马尔可夫决策过

程模型的数学表达以及基于值的、基于策略的、基于Actor-Critic的强化学习算

法的数学推导过程，为后文中深度强化学习算法在新型电力系统中的应用奠定了

夯实的理论基础。在此基础上，阐述了双重深度Q网络算法和近端策略优化算

法优化算法的基础原理，作为后文中用于对比控制效果的基线算法。

针对新型电力系统中的安全优化调度问题，本文构建了约束型马尔可夫决策

过程，并基于最大熵强化学习算法与深度神经网络相结合提出了一种基于电力系

统拓扑优化的电力自主调度方法。此外，为解决动作空间爆炸的问题以及深度强

化学习方法的脆弱性问题，提出了一种基于模仿学习的神经网络预训练方案，将

其与最大熵算法相结合提出了模仿学习最大熵算法。最终，在考虑物理层故障和

信息层数据扰动的情况下，应用Grid2Op仿真平台提供的改进的IEEE118节点

系统进行了安全优化调度的仿真实验，验证了本文所提出算法的高效性和优越性。

针对新型电力系统中的经济优化调度问题，考虑了自主调度过程中的经济性、

环保性、运行鲁棒性，同样构建了其特定的约束型马尔可夫决策过程，提出了一

种基于最大熵强化学习算法和深度神经网络的有功功率最优调度自主控制方法。

此外，为优化经济性和环保性将设计的惩罚函数添加至最大熵算法的目标函数中

并应用拉格朗日乘子法进一步提出了拉格朗日最大熵强化学习算法。为提升运行

/

鲁棒性，设计了一种有功无功协同优化的联合优化方案，更进一步的提出了经

济鲁棒的拉格朗日最大熵强化学习算法。最终将所提出的算法应用于SG-126节

点新型电力系统中，比较验证了所提出方法的环保性、经济性和运行鲁棒性。

关键词：新型电力系统，安全优化调度，经济优化调度，最大熵强化学习算法，

约束型马尔可夫决策过程，模仿学习，拉格朗日乘子法，联合优化方案

I

II

ABSTRACT

Withthepromotionof‘peakcarbondioxideemissions’and‘carbonneutrality’,

Chinahasacceleratedtheconstructionofmodernpowersystems,whosemainbodyis

renewableenergy.Theincreasingpenetrationofrenewableenergyandpower

electronicequipmentmakethestructureofmodernpowersystemsmoreandmore

complex,whichbringsgreatchallengestoenergymanagementanddispatch.Based

ondeepreinforcementlearning(DRL),thisdissertationconductsin-depthresearchon

thesecurityoptimaldispatchandeconomicoptimaldispatchinmodernpower

systems.Ingeneral,thetheoreticalbasisandtheDRL-basedmethodsabouthowto

realizeautonomousreal-timeoptimaldispatcharemainlydiscussed