基于深度强化学习的家庭能量管理分层优化策略.pdfVIP

第45 卷 第21 期 2021 年11 月10 日 Vol.45No.21 Nov.10，2021 DOI：10.7500/AEPS20210331010 基于深度强化学习的家庭能量管理分层优化策略 1 2 1 1 1 2 张 甜 ，赵 奇 ，陈 中 ，王瑞升 ，邢 强 ，田 江 （1. 东南大学电气工程学院，江苏省南京市 210096；2. 国网江苏省电力有限公司苏州供电分公司，江苏省苏州市 215004） 摘要：为实现需求侧最大效益，提出一种能够应对复杂环境的基于深度强化学习（DRL）的分层能 量调度方法。首先，构建家庭能量管理系统（HEMS）双层框架，通过改变第2层储能系统的充放电 功率解决第1层因满足用户用电需求和减少电费所造成负荷集中至低电价时段导致的功率越限， 而后根据各用电设备的负荷特性对其进行分类和建模。其次，采用马尔可夫决策过程（MDP）对能 量管理问题进行建模，利用奖励函数代替目标函数和约束条件。然后，引入Rainbow算法优化策略 以最大化长期收益，实现经济且高效的在线调度。最后，对一个包括光伏板、储能系统、各种用电设 备以及电动汽车的家庭进行仿真，验证了所提方法在应对不确定性问题上的有效性和优越性。 关键词：家庭能量管理系统；需求响应；分层能量调度；马尔可夫决策过程；深度强化学习； Rainbow算法 0 引言 式优化方法收敛慢且容易陷入局部最优，数学优化 方法受限于问题规模。强化学习（reinforcement 面对能源危机，世界各国鼓励提高新能源渗透 ［1］ learning，RL）通过与环境直接互动学习最优策略， 率 ，但分布式光伏的大规模接入导致不确定因素 ［2］ 且训练过程的时间不会影响应用过程的时间。应用 增多 ，家庭能量管理面临着巨大挑战。以智能电 过程是简单的函数代入过程，时间较短，因此该方法 表为基础 ，家庭能量管理系统 （home energy 可满足在线决策的要求。 managementsystem，HEMS）能实现家用设备的管 RL算法作为一种很有前景的能量管理方法受 控。HEMS作为智能电网在居民侧的延伸，可以制 ［8-11］ 到广泛关注 。文献 ［12-13］应用 Q 学习（Q- 定经济且高效的需求响应（demandresponse，DR） 策略。 learning）算法求解用电设备的调度策略，实现电费 和不满意度最小化。文献［14］提出一种考虑点对点 目前，国内外针对HEMS策略有着大量的研 交易机制的住宅能源管理方法，利用模糊Q学习算 究。文献［3］提出一种基于遗传算法的家庭用电调 法提升在线决策能力。文献［15］将一种内置注意力 度模型，实现负荷峰值和电费最小化。文献［4］利用 粒子群算法求解最优用电计划，用于提高新能源利 机制的深度Q学习网络（deepQnetwork，DQN）结 合策略迁移算法应用于家庭DR，在快速优化的前 用率且保证家庭最大盈利。文献［5］提出使用灰狼 优