基于深度强化学习的微网储能日内滚动调度Agent设计.docxVIP

PAGE2

基于深度强化学习的微网储能日内滚动调度Agent设计

摘要

随着分布式光伏发电在微网中的渗透率不断提高，其出力的间歇性与波动性给微网的经济稳定运行带来了巨大挑战。储能系统作为调节微网功率平衡的关键手段，其调度策略的优劣直接决定了微网的运行效益。传统的基于模型的优化方法如模型预测控制（MPC）虽然效果良好，但严重依赖精确的预测模型与系统参数，且计算复杂度高，难以满足实时滚动调度的快速响应需求。针对上述问题，本设计旨在构建一个基于深度强化学习的微网储能日内滚动调度Agent，实现储能系统在复杂不确定性环境下的自适应决策。

本设计采用近端策略优化算法设计智能体，构建包含储能荷电状态（SOC）、实时电价及光伏预测功率的多维状态空间，输出充放电功率动作，并通过设计综合考虑运行成本与安全约束的奖励函数引导Agent训练。论文首先分析了微网储能调度的业务需求与非功能指标，确立了以降低运行成本为核心的设计目标；其次，完成了基于OpenAIGym框架的仿真环境与PPO算法核心模块的总体与详细设计；随后，基于Python与PyTorch框架实现了系统的核心功能，重点解决了状态归一化与奖励函数塑形等关键技术难点；最后，在典型日光伏与负荷场景下进行了系统测试，并将所提Agent与MPC算法进行了对比仿真。

测试结果表明，设计的PPOAgent在保证储能SOC安全约束的前提下，有效降低