基于深度强化学习的居民实时自治最优能量管理策略.pdfVIP

第46 卷 第1 期 2022 年1 月10 日 Vol.46No.1 Jan.10,2022 DOI：10.7500/AEPS20210628001 基于深度强化学习的居民实时自治最优能量管理策略 1 1 1 2 叶宇剑 ，王卉宇 ，汤 奕 ，GoranSTRBAC （1. 东南大学电气工程学院，江苏省南京市 210096；2. 伦敦帝国理工学院电气与电子工程系，伦敦 SW72AZ，英国） 摘要：随着居民分布式资源的普及，如何考虑用户多类型设备的运行特性，满足实时自治能量管理 需求以达到用户侧经济性最优成为亟待解决的课题。传统基于模型的最优化方法在模型精准构建 和应对多重不确定性等方面存在局限性，为此提出一种无模型的基于深度强化学习的实时自治能 量管理优化方法。首先，对用户设备进行分类，采用统一的三元组描述其运行特性，并确定相应的 能量管理动作；接着，采用长短期记忆神经网络提取环境状态中多源时序数据的未来走势；进而，基 于近端策略优化算法，赋能在多维连续- 离散混合的动作空间中高效学习最优能量管理策略，在最 小化用电成本的同时提升策略对不确定性的适应性；最后，通过实际情境对比现有方法的优化决策 效果，验证所提方法的有效性。 关键词：实时自治能量管理优化；不确定性；连续- 离散混合动作；长短期记忆神经网络；深度 强化学习 0 引言 为应对不确定性，文献［9］采用基于场景的随机 规划方法，假设各不确定性参数所对应的概率分布 随着分布式光伏、电动汽车（electricalvehicle， 模型，通过蒙特卡洛模拟产生对应的场景，但因受到 EV）等柔性负荷及储能（energystorage，ES）等分布 外部因素的影响，所假设的概率分布往往与实际分 式资源（distributedenergyresource，DER）在居民智 ［1］ 布偏差较大。另外，问题求解规模会随着不确定性 能用电中的普及 ，居民的能量管理面临着由各类 场景数目的增加而急剧扩大。文献［10］采用鲁棒优 不确定性因素带来的挑战。与此同时，智能电表和 化模型以集合的方式来描述不确定性，以集合内最 通信等技术的快速发展为监测和控制居民DER设 ［2］ 劣场景下的最小成本为目标，最大限度地抑制不确 备提供了关键的技术支撑 ，大数据和人工智能技 定性对决策造成的干扰，但存在对集合构建合理性 术的发展则为能量管理优化提供了数据驱动的新 ［11］ ［3］ 的高依赖性和策略的保守性 。文献［12-13］采用 途径 。 模型预测控制（modelpredictioncontrol，MPC）以滚 家庭能量管理系统（homeenergymanagement 动优化的形式提升了鲁棒性，但是计算负担较大，且 system，HEMS）作为能量管理技术在用户侧的体 ［4］ 优化性能直接受到预测误差的影响。 现，可有效管理用户电能生产、使用及存储过程 。