基于深度强化学习的微电网优化调度研究.pdfVIP

基于深度强化学习的微电网优化调度研

究

摘要：近几年,各个国家都在大力发展新能源技术,能源的转型是解决世界能

源危机、环境问题和实现社会经济可持续发展的必经之路。中国提出了在2030

年前实现“碳达峰”、2060年之前实现“碳中和”的双碳目标。随着人工智能被

广泛应用于各个行业,智能电网和能源互联网也成为研究热点。但由于可再生能

源输出存在不确定性和间歇性问题,传统深度强化学习算法存在经验采样效率低

和难以处理高维状态空间表征的问题,所以如何提高微电网运行的灵活性和稳定

性,仍然存在巨大的挑战。

关键词：微电网；调度优化；调度策略；深度强化学习；重要性采样

引言

微电网是由分布式电源、负载、能量转换、监控和保护装置组成的小型发配

电系统。由于微电网集成了可再生能源在内的多种分布式电源，因此可以更好地

满足本地清洁化、个性化和灵活化的负荷需求。而微电网负荷优化调度是高效利

用分布式电源的关键，负荷优化调度能够利用微电网的运行信息和负荷数据，寻

求最佳的能源管理方案。负荷优化调度是微电网的一项重要任务，它使微电网以

最佳方式实现分布式电源的调度。通过负荷优化调度，可以减少用能与分布式发

电的不匹配现象，降低用户的用能成本，并在供需两侧提高微电网稳定性。微电

网中的可再生能源主要来自光伏发电和风力发电。然而，光伏发电和风力发电受

天气的影响很大，这往往导致光伏发电与风力发电的出力具有一定的随机性。储

能系统能够破解分布式电源电能生产与微电网电能消费的不同步性，使分布式电

源生产的电能在时间与空间上具有一定的平移性。因此储能系统是微电网克服上

述问题，并实现大规模可再生能源利用的关键。

1微电网架构

微电网是合理利用可再生能源的重要途径。在人口密度大的城市，同时接入

ＤＥＳＳｓ和ＣＥＳＳ的微电网已逐渐成为一种新的发展趋势。与仅包含ＤＥＳ

Ｓｓ的传统微电网相比，带有ＤＥＳＳｓ和ＣＥＳＳ的微电网能够更有效地整合

资源，并且拥有更稳定的性能。在带有ＤＥＳＳｓ和ＣＥＳＳ的微电网中，每个

用户拥有独立的ＤＥＳＳ，同时接入公共光伏发电系统，以满足用户的负荷需求，

并参与电力市场交易来减少用户的用电成本。整个微电网被视为负荷聚合商，维

持其自身的经济运行，保护整个微电网的用能稳定。微电网内部接入的ＣＥＳＳ，

能够在光伏资源充足和电价较低的时段存储电力，并在需要的时候作为后备能源

参与到微电网的负荷调度中，确保微电网运行的稳定性，降低微电网整体经济成

本。因此，研究ＤＥＳＳｓ与ＣＥＳＳ并存的微电网负荷调度模型具有重要的现

实意义。

2微电网优化模型

微电网模型的结构图如图1所示，其是由一个风力发电的分布式电源，一个

公共的储能系统（EnergyStorageSystem，ESS），一组恒温控制负荷

（ThermostaticallyControlledLoads，TCLS）如空调，冰箱或热水器等，以

及一组住宅负荷组成的新型微电网模型，同时微电网与主电网相连，可以在电力

系统中进行能源的买卖。基于深度强化学习算法构建的微电网能量管理系统

（EnergyManagementSystem，EMS）接收各系统反馈的信息，对TCLS进行直接

控制，对电力进行定价，在能量不足时控制与主电网进行电力购买和储能系统放

电，能量过剩时控制储能系统充电和其与主电网进行电力出售。

图1微电网模型结构图

2.1主电网模型

在考虑了DGE的输出存在不确定性和间歇性问题,让微电网系统单独工作在

孤岛模式下,无法安全稳定地满足微电网的供需平衡。当微电网系统能量不足时,

可以向MG购电满足系统负荷,同时将地方实时电价波动的情况考虑在内,将灵活

多样的供电方式融入系统,进而实现运行成本最低化。

2.2目标函数

多微电网日前优化调度模型的目标函数主要包含微电网自身的发电成本、微

电网与微电网之间的电能交换成本、微电网与上级电网的交互成本,具体可概括

为:

式中,Cmgs、Cmo分别为微电网间电能交易费用及微电网与上级电网的交易费

用;aser为微电网间电能交易的固定服务费用;bser为每笔交易收取的固定服务

费用;λbt、λst分别为产消者向MO的购电电价和售电电价。

3深度强化学习算法

3.1深度强化学习算法分类介绍

深度强化学习算法分为Model-Free和Model-Ba