深度强化学习在配电网优化运行中的应用.pdfVIP

第 47 卷 第 14 期 2023 年 7 月 25 日 Vol . 47 No . 14 Jul . 25 ,2023 DOI ： 10. 7500/AEPS20220330003 深度强化学习在配电网优化运行中的应用 1 1 1 ，2 3 1 3 胡维昊 ，曹 迪 ，黄 琦 ，张 斌 ，李思辰 ，陈 哲 （1. 电子科技大学机械与电气工程学院，四川省成都市 611731 ；2 . 西南科技大学信息工程学院，四川省绵阳市 621010 ； 3 . 奥尔堡大学能源技术学院，奥尔堡 9100 ，丹麦） 摘要 ：深度强化学习结合了深度学习的感知能力和强化学习的决策能力，在多个复杂场景中取得 了优异的控制效果，并被应用于配电网的优化和控制问题中。文中首先分析了传统配电网优化方 法的优势和不足，然后对深度强化学习算法进行概述，并根据应用问题背景的不同，从含有储能装 置的调度控制、动态重构、恢复力研究以及无功优化与电压控制等多个方面开展文献综述，详细分 析了其在配电网不同应用中的优势和不足。然后，以工程实际中的两个深度强化学习的应用案例 来进一步阐述其在指导电力行业生产实践方面的应用潜力以及面临的问题。最后，对深度强化学 习在配电网中应用所面临的挑战和前景进行分析和展望。 关键词 ：配电网；人工智能；深度强化学习；优化运行 0 引言 对系统源荷的不确定性，并实现在线的决策。在众 多的人工智能方法中，深度学习和强化学习是其中 随着全球经济的发展，能源短缺和环境污染问 两个重要的分支。深度学习最早由“神经网络之父” 题正变得日益突出 ，这推动了新能源发电的发 ［6 ］ ［1-2 ］ Hinton 于2006 年提出 ，其核心思想是通过不断的 展 。可再生能源发电通过分布式接入配电网，是 非线性变换，组合数据的低层特征，从而发现数据的 新能源发电接入电力系统的一种重要途径。国家能 分布特征并形成易于区分的高层表示。深度学习技 源局公布的数字显示，截至2019 年，中国分布式光 术受到电力系统研究人员的广泛关注，被应用于新 伏发电的总装机容量为62 .6 GW ，光伏发电通过分 ［7 ］ ［8 ］ ［3 ］ 能源发电与负荷预测 、系统的状态估计与监测 、 布式接入电网并就地消纳已成为趋势 。然而，可 ［9 ］ 设备的故障辨识 等多个领域。强化学习是一种学 再生能源发电具有较强的随机性和波动性，大量的 习环境状态到动作决策间映射的方法，不同于在训 可再生能源的接入对配电网的运行带来深刻的变 练阶段需要标签引导的深度学习方法，强化学习可 化：分布式可再生能源的随机性和波动性导致配电 以通过和环境的不断交互，以试错的方式不断学习 网节点电压的波动和闪变，危及系统的安全稳定运