《基于多步回溯Q_学习算法的多目标最优潮流计算》.pdf

华 南 理工 大 学 学报 ( 自然 科学 版 ) 第 38卷 第 10期 Journal of South China University of Techno logy V ol. 38 N o. 10 2010年 10月 (Natural Science dition) O ctober 2010 文章编号: 1000565X( 2010) * 基于多步回溯Q ( )学习算法的多目标最优潮流 算 余涛 胡细兵 刘靖 (华南理工大学 电力学院, 广东 广州 510640) 摘 要: 为了克服传统的最优化算法面对复杂、非线性描述的多目标最优潮流 无法满 足电力系统实 调度运行的这 一缺点, 提出了一种基于半马尔可夫决策过程的多步 Q ( ) 学习算法, 该算法不依赖于对象模型, 将最优潮流问题中的约束、动作和目标转换成算法 中的状态、动作与奖励, 通过不断的试错、回溯、迭代来动态寻找最优的动作. 将该算法在 多 个I 标准算例中与其他算法进行比较, 取得了良好的效果, 验证了多步 Q ( ) 学习 算法在处理多目标最优潮流问题 的可行性和有效性. 关键词: 电力系统; 最优潮流; Q ( )学习算法; 多目标优化; 强化学习 中图分类号: TM 761; TP273 doi: 10. 3969/j. issn. 1000565X. 2010. 10. 026 电力系统最优潮流(OPF) 问题是 20世纪 60年 型为数学基础, 与监督学习、统计模式识别和人工神 代由法国学者 Carpentier作为一种带网络约束的经 经网络不同, 不需要精确的历史训练样本及系统先 [ 1] 验知识, 是一种基于值函数迭代的在线学习和动态 济负荷调度提出的 . OPF 作为经典潮流的发展与 [ 10] 延伸, 寻找经济性和安全性的最优结合点, 成为重要 最优技术 . 强化学习的诸多算法中, 经典单步 Q 的电力系统调度运行和优化分析工具. 学习最具代表性, 已被成功应用于电力系统的动态 OPF 问题是一个复杂的混合非线性规划问题, [ 11] [ 12] [ 13] 优化运行 、稳定控制 与自动发电控制 中, 取 求解方法可分为经典优化方法和人工智能优化方法 得了良好效果. 国际上普遍认为以Q 学习为代表的 [ 2] [ 3] [4] 两大类. 非线性规划 、二次规划 、内点法 、牛 强化学习和多代理智能体技术是实现智能电网的最