强化Q学习——模糊多目标AGC调节容量动态优化分配策略的研究.pdfVIP

第 42 卷第 5 期 2014 年 5 月 J导.t信ρ Vol. 42 No.5 May 2014 East Ch ina EI田tric Power 强化 Q 学习一模糊多目标 AGC 调节容量 动态优化分配策略的研究 钱虹1 ，3 ，姚一鸣1 ，陈丹2 ，费敏锐3 (1.上海电力学院，上海 2删90;2. 北京工商大学，北京 1删37;3. 上海大学，上海 2删72) 摘 要:针对 AGC 调节容量多目标优化分配存在着无法完全描述机组特性的问题，通过研究提出采用基于强 化 Q 学习的优化分配方法。将 AGC 系统视为不确定的随机系统，结合 ACE 的调节死区以及 CPS 评价标 准，建立了 AGC 调节容量优化分配问题的马尔可夫决策过程模型，并引人 Q 学习方法对 MDP 的最优值函数 进行学习，仿真结果表明，该强化 Q 学习-模糊多目标 AGC 调节容量动态优化分配策略能够适应电网环境变 化的要求。 关键词:自动发电控制;强化 Q 学习算法;调节容量动态优化分配 作者简介:钱 虹(1967) ，女，副教授，博士，主要研究方向为电力系统及其自动化。 中图分类号 :TM76 文献标志码 :A 文章编号: 1∞1-9529(2014 )05 -0943-07 Dyn缸nic Optimized AIIocation Policy for AGC Regulation Capacity ?ased on Reinforcement Q-Leaming and Fuzzy Multiple Objectiv臼 QIAN Hong 1 ,3 , YAO Yi-ming 1 , CHEN Dan 2 , FEl Min-rui 3 (1. Shanghai University of Electric Power , Shanghai 2创lO90 ， China; 2. Beijing Technology and Business Univ. Beijing 1αX37 ， China; 3. Shanghai University , Shanghai 2创X72 ， China) Abstract: The unit characteristics cant be fully described in the multi-objective optimized allocation of AGC regula- tion capacity; therefore , this paper proposes the optimal allocation approach based on the reinforcement Q-Iearning. Wi由 AGC system , the uncertain stochastic system , combined wi由 the ACE a句usting dead zone and CPS evalua- tion standard , the Markov decision process (MDP) model is established for optimized allocation of AGC regulation power; the Q-Iearning approach is introduced to study MDPs optimal value function. The simulation results show that the proposed allocation strategy c四 adapt to the changing requirement of grid environment. Key words: AGC; reinforcement Q-Iearning algorithm; dynamic optim?zed allocation of regulation capacity 自动发电控制 (AGC) 技术是维持电力系统 发电与负荷平衡，保证电力系统频率质量和电网 安全稳定经济运行的重要技术手段。近年来，在 我国很多网省互联电网间对 AGC 控制性能考核 实施 CPS 标准，这对 AGC 提出了在满足电网稳定 的前提下，快速性和经济性的要求。随着电网规 模的日益扩大，以及可再生的间歇式风电和光伏 电源大规模接人电网的趋势，增加了电网的不确 定性，电网的随机负荷波动加剧。因此， AGC 系 统可看作一个不确定的随机系统，目前很多研 究已将周期的 AGC 控制当作一个离散时间的马 尔科夫决策过程。针对 AGC 控制过程中的控制 目标及控制过程中呈现出的随机序贯决策特点， 因此提出利用马尔科