深度强化学习在电网实时计划编排中的应用.pdfVIP

第 47 卷 第 14 期 2023 年 7 月 25 日 Vol . 47 No . 14 Jul . 25 ，2023 DOI ： 10. 7500/AEPS20221010006 深度强化学习在电网实时计划编排中的应用 1 ，2 3 3 1 1 3 刘金波 ，宋旭日 ，杨 楠 ，万 雄 ，蔡 宇 ，黄宇鹏 （1. 国家电网有限公司国家电力调度控制中心，北京市 100031 ；2 . 清华大学电机工程与应用电子技术系，北京市 100084 ； 3 . 电力调度自动化技术研究与系统评价北京市重点实验室（中国电力科学研究院有限公司），北京市 100192 ） 摘要 ：面对新型电力系统的强不确定性、快速增长的控制规模、低碳化运行目标等变化，实时计划 编排将会呈现高维、非线性、非凸的复杂特征，以强化学习为代表的数据驱动算法为探索实时计划 快速优化编排带来了新思路。文中将深度强化学习引入实时计划编排模型中，构建面向强化学习 的实时计划编排仿真环境；提出了双层多目标多智能体深度强化学习实时计划编排方法，该方法基 于模型-数据混合驱动强化学习思想，采用双层架构以及多智能体设计，实现实时计划并行快速编 排。最后，通过算例验证了所提方法的有效性和可行性。 关键词 ：电网调度；实时计划；人工智能；深度强化学习；模型-数据混合驱动 0 引言 近年来，很多学者将人工智能技术引入电网调 ［6-11 ］ 度领域 ，尤其在考虑不确定性的优化调度方面 目前实时计划编排基于超短期负荷预测、机组 取得了不少研究成果［12-17 ］。文献［12 ］提出了一种结 发电能力、电网模型等数据，在满足安全和电能质量 合免疫遗传算法与拉格朗日分解协调策略的混合智 的前提下，考虑机组运行约束、电网安全约束、系统 功率平衡约束等约束条件，以最低的发电成本为目 能算法，加快大规模多时段混合整数规划计算速度； 标 ，实现对未来 5 min~ 1 h 发电计划集中优化编 文献［13 ］提出了一种改进的遗传算法对需求侧进行 ［1 ］ 用电调度来最小化目标函数；文献［14 ］提出了一种 制 。在实时调度中调度员根据实际情况控制实时 ［2 ］ 基于深度强化学习的有功最优潮流算法，该方法运 计划的执行和修改 ，对调度人员的经验要求很高， 因此研究实时计划跟随电网运行快速动态调整十分 用近端策略优化，以电网运行成本最小为目标构建 必要。现有编排算法大多采用基于确定性模型的安 智能体进行计算；文献［15 ］提出了一种用于电网实 ［3-5 ］ 时调度的电网专家策略模仿学习方法；文献［16 ］提 全约束最优潮流 ，文献［3 ］以调整量最小为目标 多时间尺度滚动更新实时计划；文献［4 ］引入机组偏 出了一种基于深度强化学习的电网潮流分析方法用 差调整量的分段调整成本函数，进一步降低了调整 于电网潮流自动调整收敛；文献［17 ］提出了一种有 能耗成本；文献［5 ］提出了适应大规模风电入网的基 效计及电动汽车出行模式和充电需求的不确定性的 于预测控制的实时滚动优化调度方法，实现了多时 深度强化学习方法，其中，深度强化学习将智能算法 序调度优化。 与经验知识相结合，具有通过与环境交互自主学习 随着电网规模扩大，源荷双侧不确定性增强