结合深度强化学习与领域知识的电力系统拓扑结构优化.pdfVIP

第46 卷 第1 期 2022 年1 月10 日 Vol.46No.1 Jan.10,2022 DOI：10.7500/AEPS20210510001 结合深度强化学习与领域知识的电力系统拓扑结构优化 严梓铭，徐 岩 （南洋理工大学电气与电子工程学院，新加坡 639798，新加坡） 摘要：对拓扑结构进行优化可提高电力系统运行灵活性，然而线路开断与变电站母线分裂等系统 级的离散决策变量维度极高。该拓扑结构优化问题难以由传统混合整数优化方法求解。针对该问 题，提出了一种结合异步优势Actor-Critic（A3C）深度强化学习与电力系统领域知识的运行优化方 法，将在线优化的计算负担转移至离线智能体训练阶段。该方法通过同时考虑拓扑结构与发电出 力调整的动作空间设计系统运行控制智能体，以最小化约束越限为训练奖励，通过强制约束校验缩 减搜索空间并提高强化学习效率，从而实现电力系统运行拓扑结构优化的快速计算，提高电力系统 运行的安全性。仿真测试验证了所提方法的有效性。 关键词：电力系统运行；深度强化学习；拓扑结构优化；发电出力调整 0 引言 站母线分裂方面，文献［13］介绍了变电站母线分裂 等拓扑结构控制的概念，并采用混合整数规划求解 电力系统网络结构一般不随系统运行状态改变 考虑变电站拓扑的安全约束最优潮流模型。文献 而改变，若非检修或故障，线路等主要输电设备将保 ［1］ ［14］提出了一种考虑最优传输线与变电站母线的电 持闭合运行 ，而电力系统运行调度也通常不考虑 网拓扑结构优化方法。文献［15］将母线分裂优化问 拓扑结构调整。近年来，随着电力系统不确定性日 题建模为混合整数优化问题，并实现了个位数变电 趋复杂，可再生能源并网比例提高，传统电力系统发 站的母线分裂求解。文献［16］采用输电网结构混合 电出力调整的灵活性有限，难以在有限控制资源下 整数非线性规划求解得到改善电网均匀度的方案。 满足电力系统安全经济运行的要求。因此，有研究 上述文献中主要通过在较小的变量集上计算混合整 开始尝试将电网拓扑结构作为电力系统运行的控制 ［2］ 数优化问题来求解拓扑结构，然而，在实际变电站 变量 ，以进一步优化电力系统的运行水平。 中，各设备在母线上的不同连接方式都可作为独立 输电网拓扑结构优化无须加装设备，可通过改 的拓扑决策，考虑所有变电站的系统级拓扑决策变 变电网拓扑来改善潮流分布，从而解决线路过载与 量繁多，难以由传统混合整数优化方法在线求解该 电压越限等问题。近年来，常见的输电网结构优化 ［3-12］ 超高维度拓扑结构优化问题。此外，混合整数优化 主要包括输电线路最优开断 和变电站母线分 ［13-17］ 方法仅改善当前时刻的系统运行成本，忽略了未来 裂 这2类。在线路最优开断方面，文献［3］提出 系统运行的状态。相对而言，深度强化学习可通过 了基于鲁棒优化与故障遍历校验的网络结构优化方