基于深度期望Q网络算法的微电网能量管理策略.pdfVIP

第46 卷 第3 期 2022 年2 月10 日 Vol.46No.3 Feb.10,2022 DOI：10.7500/AEPS20201011005 基于深度期望Q网络算法的微电网能量管理策略 1 1 2 2 1 冯昌森 ，张 瑜 ，文福拴 ，叶承晋 ，张有兵 （1. 浙江工业大学信息工程学院，浙江省杭州市 310023；2. 浙江大学电气工程学院，浙江省杭州市 310007） 摘要：随着光伏发电在微电网中的渗透率不断提高，其发电出力的不确定性和时变性为微电网的 经济运行带来了挑战。在构建经济调度模型时，就需要适当模拟不确定变量并相应地发展高效求 解算法。在此背景下，文中提出能够有效计及不确定性因素的深度强化学习算法，以实时求解微电 网的优化运行问题。首先，采用马尔可夫决策过程对微电网优化运行问题进行建模，用实时奖励函 数代替目标函数和约束条件，利用其与环境互动，寻找最优策略。其次，借助贝叶斯神经网络对不 确定的学习环境建模，进而在马尔可夫决策过程中有效考虑状态转移的随机过程。为此，提出双深 度期望Q网络算法，通过考虑状态转移的随机性，优化一般深度Q网络算法的Q迭代规则，显著提 高算法的收敛速度。最后，采用算例验证了所提模型和算法的有效性。 关键词：光伏发电；不确定性建模；深度强化学习；贝叶斯神经网络；双深度期望Q网络 0 引言 型的全局最优解，而启发式优化算法一般耗时很 长。在此背景下，针对光伏发电高渗透率的微电网， 随着可再生能源发电技术的发展，光伏等分布 需要对光伏发电出力进行更为精准的建模并寻求高 式能源在电力系统中的渗透率不断提高，为电力系 效的求解算法。 统安全和经济运行带来了挑战。受气候等环境因素 深度强化学习通过与环境交互和反馈学习，不 的影响，光伏等分布式能源出力的不确定性为调度 ［10］ 断改进策略并实现实时决策 ，目前已经提出很多 计划的制定带来了困难。如何对光伏出力的不确定 深度强化学习算法并将其应用于电力系统研究中。 性进行适当建模和高效求解是值得研究的重要 文献［11］利用深度Q网络（deepQnetwork，DQN） 问题。 算法和文献［12］利用双深度Q网络（doubledeepQ 在针对不确定性因素建模和求解方面已有相当 network，DDQN）算法实现了配电网电压控制优化， 多的研究成果。在不确定性建模方面，目前常用的 DDQN算法避免了DQN算法中Q值被高估的问 方法主要有随机模型、模糊模型、区间数模型和机会 题。文献［13］利用对抗深度Q网络（duelingdeepQ 约束模型。在随机模型方面，文献［1-2］用确定的分 network，dueling-DQN）算法解决需求侧响应问题， 布描述光照强度的概率密度函数，其拟合效果受限 dueling-DQN算法对DQN算法网络结构进行改进