面向隐私保护基于联邦强化学习的分布式电源协同优化策略.pdfVIP

第 47 卷 第 8 期 2023 年 4 月 25 日 Vol . 47 No . 8 Apr . 25 ,2023 DOI ： 10. 7500/AEPS20220330008 面向隐私保护基于联邦强化学习的分布式电源协同优化策略 蒲天骄，杜 帅，李 烨，王新迎 （中国电力科学研究院有限公司，北京市 100192 ） 摘要 ：针对分布式电源优化调度面临的隐私保护和实时决策问题，提出了基于联邦强化学习的多 智能体分布式协同优化策略。首先，构建了基于联邦强化学习的配电网分布式协同优化框架，利用 联邦学习避免在多智能体深度强化学习过程中泄露隐私数据。在此框架下，提出了多智能体约束 策略优化方法，利用离线训练缩短在线决策时间，支持智能体实时分布式决策。同时，该方法为智 能体构建了考虑潮流方程等约束条件的可行域，允许智能体在训练过程中自由探索，提高了收敛速 度，并确保实时调度策略满足电力系统安全运行约束。最后，通过算例进行仿真验证，结果表明离 线训练时各智能体仅利用局部信息即可实现全局优化，并保证了实时决策和调度策略的安全性。 关键词 ：分布式电源；分布式协同优化；深度强化学习；联邦强化学习；隐私保护 0 引言 不依赖机理建模，并能够通过离线训练缩短实时优 化调度时间。文献［7 ］采用深度确定性策略梯度算 随着新型电力系统的建设，分布式电源高渗透 ［1 ］ 法解决了电力系统随机优化调度问题。文献［8 ］改 率接入配电网成为必然趋势 。分布式电源大量接 进了深度确定性策略梯度算法，并分别应用于完全 入能够提高配电网清洁能源比重，是实现“双碳”目 ［2 ］ 和不完全观测信息下的智能微网优化调度问题。文 标的有力途径 。但分布式电源数量增加导致主体 献［9 ］基于A 3C 建立了微网群多目标优化调度模 多元化趋势加剧，多主体隐私性面临威胁，需要在保 型。文献［10 ］提出基于深度强化学习的储能系统预 护主体隐私的前提下，实现分布式电源优化调度，充 测决策一体化调度方法，令高维度的风电场原始测 分消纳可再生能源并缓解间歇性分布式电源对配电 量数据直接驱动储能系统。然而，分布式优化不可 网的冲击，保证系统安全稳定运行。 避免地需要各智能体间进行信息交互，随着电网范 分布式优化通过相邻主体间的弱通信便能实现 围逐渐扩大，数据隐私成为不可忽视的考虑。如今 整体系统的优化调度，逐渐应用于解决配电网优化 用户对数据隐私越发重视，分布式优化的隐私保护 调度问题，主要包括模型驱动和数据驱动两种方 成为关注焦点。联邦强化学习为解决这一难题提供 法。模型驱动是充分运用配电网成熟机理的优化调 了思路，在联邦强化学习训练过程中，各智能体仅需 度方法。文献［3 ］采用二阶锥规划松弛配电网最优 要向聚合中心发送模型参数而不传递数据，很好地 潮流问题，提出了一种基于对偶分解的分布式协同 弥补了分布式优化在隐私安全方面的缺陷。 优化方法。