基于深度强化学习的新型电力系统调度优化方法综述.pdfVIP

第 47 卷 第 17 期 2023 年 9 月 10 日 Vol . 47 No . 17 Sept . 10 ，2023 DOI ： 10. 7500/AEPS20220228002 基于深度强化学习的新型电力系统调度优化方法综述 1 1 2 1 1 1 冯 斌 ，胡轶婕 ，黄 刚 ，姜 威 ，徐华廷 ，郭创新 （1. 浙江大学电气工程学院，浙江省杭州市 310027 ；2 . 之江实验室，浙江省杭州市 311121 ） 摘要 ：随着新能源并网规模不断扩大，能源形式更加灵活多变，电力系统调度运行面临新的挑战。 随着系统复杂度和不确定性增加，传统基于物理模型的优化方法难以建立精确的模型进行实时快 速求解，而深度强化学习（DRL ）可以从历史经验中自适应地学习调度策略并实时决策，避免了复 杂的建模过程，以数据驱动的方式应对更高的不确定性和复杂度。文中首先介绍了新型电力系统 调度运行问题；然后，介绍了DRL 原理及其分类算法；接着，分析了各类DRL 算法在求解新型电力 系统调度决策问题时的优势与劣势；最后，对需进一步研究的方向进行了展望。 关键词 ：深度强化学习；新型电力系统；经济调度；最优潮流；机组组合 ［6 ］ ［7 ］ ［8 ］ 0 引言 目前已经在游戏 、围棋 、机器人控制 、城市智慧 ［9 ］ 交通 、ChatGPT 智能对话等领域得到了广泛应用， 新型电力系统是以确保能源电力安全为基本前 在很多场景下甚至能够超越人类表现。 提，以绿电消费为主要目标，以坚强智能电网为枢纽 DRL 起源于动态规划，其实质是解决一个动态 平台，以源网荷储互动及多能互补为支撑，具有绿色 优化问题，理论源于动态规划与马尔可夫决策过程 低碳、安全可控、智慧灵活、开放互动、数字赋能、经 ［1 ］ （Markov decision process ，MDP ），相较于启发式搜 济高效基本特征的电力系统 。随着“碳达峰·碳中 索算法更具备理论基础。DRL 作为一种数据驱动 和”目标的提出，新能源在电力能源供给中的占比逐 方法，能够从历史经验中学习决策调度方法，针对非 渐增加，将形成新能源占比逐渐提高的新型电力系 ［2 ］ 线性、非凸问题具有很好的自适应学习决策能力。 统 。未来，电力占终端能源形式的比例需提高至 ［3 ］ 目前，大多通过无模型的算法处理，避免了对不确定 80 % ，非化石能源在生产侧的占比要达到80 % ，光 实时变化的物理模型进行建模，适用于复杂多变的 伏、风电等清洁能源装机容量势必逐年增长。新能 场景。相较于其他传统优化方法，DRL 对同一问题 源的广泛接入与迅速发展使得新型电力系统的随机 模型的不同数据具有更好的泛化能力，以及在相似 性、不确定性显著增加，这给传统的调度优化方法带