基于CEQ(λ)多智能体协同学习的互联电网性能标准控制指令动态分配优化算法.pdfVIP

2016 年 4 月 电工技术学报 Vo 1.3 1 NO.8 第 31 卷第 8 期 TRANSACTIONS OF CHINA ELECTROTECHNICAL SOCIETY Apr. 2016 基于 CEQ(λ)多智能体协同学习的互联电网 性能标准控制指令动态分配优化算法 张孝顺 l 余涛l 唐捷2 ( 1.华南理工大学电力学院 广州 510640 2. 广东电网公司韶关供电局 韶关 512026) 摘要 在 CPS 指令动态分配过程中，应用单智能体 Q(λ)算法下的 CPS 合格率虽然可以满足 要求，但还存在收敛速度较慢、寻优空间较小等问题。为此，提出应用多智能体相关均衡强化学 习的方法来弥补单智能体强化学习的不足.根据调频时延将 AGC 机组分成煤电、气电和水电等 类型，对 CEQ(λ)应用于这 n 类智能体组成的 CPS 调节指令动态分配进行研究分析。标准两区域 模型及南方电网模型仿真研究表明:多智能体 CEQ(λ)算法适用于随机、机组组合复杂的互联电网 CPS 指令动态最优分配，能有效提高系统的适应性、鲁棒性和 CPS 考核合格率。 关键词:相关均衡 自动发电控制系统 协同学习 强化学习 随机优化 中图分类号: TM71 Dynamic Optimal Allocation Algorithm for Control Performance Standard Order of Interconnected Power Grids Using Synergetic Learning of Multi-Agent CEQ(λ) Zhang Xiaoshun 1 Yu Tao 1 Tang Jie 2 ( 1. College of Electric Power South China University of Technology Guangzhou 510640 China 2. Shaoguan Power Supply Bureau Guangdong Power Grid Company Shaoguan 512026 China) Abstract Although automatic generation control under CPS standard can be addressed by classic reinforcement learning Q(λ) algorithm , such problems as slow convergence and small optimal searching space still exist from the view point ofmulti-agent equilibrium solution. Therefore , this paper proposes correlated-equilibrium-Q(λ) (CEQ(λ)) learning. According to the response time delay of thermal plants , AGC adjustment units are first divided into different kinds of unit , such as coal , gas , hydro and so on. Then dynamic allocation orders of generators are analyzed by CEQ(λ) learning based