基于强化学习算法的自适应直流附加阻尼控制器.pdfVIP

第 27卷第 10期 电 力 自动 化 议 备 Vol.27No」0 2印7年 10月 ElectricP.附erAul姗ation E四ipment ortZ(X)7 由 基于 强化学 习算法 的 自适应 直流附加阻尼控制器 郭 力，张 尧，胡金磊 华〔南理工大学 电力学院，广东 广州 5106司() 摘要:提 出了基于强化学习算法的直流附加阻尼拉制器。控制器主体采用模糊神经网络，利用由系 统性能指标生成的强化信号在线训练控制器参数。与传统的模糊控制器相比，由于该控制器采用自 适应启发式评价算法，将系统输出性能指标转化为强化信号反馈给控制器，使其能够在线修改控制 器参数，因沈有效地克服了传统阻尼控制器的设计对系统精确数学模型的依赖。仿真结果表明，与 传统的阻尼控制器相比，基于强化学习算法的直流附加阻尼控制器能够有效地抑制区域间的功率 振荡，提高交直流系统的动态稳定性，并且对多种运行方式具有一定的鲁棒性。 关键词:强化学习;低频振荡;联想搜索网络;传统附加阻尼控制器 中图分类号:TM712:TP 18 文献标识码:A 文章编号:1006一61又7(2007)10一0087一叫 并利用序优化遗传算法对其参数进行优化。文献 0 引言 [13」采用类似方法设计了直流附加模糊阻尼控制器。 上述模糊阻尼控制器大多采用精确训练样本学 由于缺乏足够的机电振荡阻尼，尤其是发电机 所提供的电磁阻尼转矩不足，电力系统区域间的功 习隐含在非线性系统本身的规律 以调整网络权系数。 率会发生相应的振荡。由于其振荡频率很低，故称 但在一些复杂的应用中精确的训练样本往往难以获 为低频振荡[l一代 得。强化学习作为一种学习算法，只需要把系统的 近年来，具有快速响应特性的灵活交流输电设备 性能指标转换为评价指标 ，对控制器的动作进行惩 (FAc仆)和高压直流输电(HvDc)成为电力系统动 罚和奖励，以最终获得对系统的优化控制动作[“一川。 态调节的主要手段之一，文献仁4]指出，在交直流互 这里将强化学习算法(智能算法)应用于直流附 连系统中的直流调制中配置与电力系统稳定器 (PSs) 加阻尼控制器的设计中。给出了控制器的设计框 具有相类似设计结构的附加阻尼控制器 (CSDc) ， 图，详细介绍了控制器的构成和学习算法，并通过一 以交流侧系统频率或者以与直流并联的交流联络线 个互联多机交直流系统在不同运行方式和振荡模式 的传输功率为输人信号，能够有效地抑制对通过平行 下对该附加控制器和CSDC的性能进行了比较。 交流线路互联的区域振荡模式，且对其它振荡模式影 响不大。 1 基于强化学习算法的直流附加阻尼控制器 模糊控制、神经网络、遗传算法等田人工智能技 基于线性相位补偿原理的CSDC结构如图1 术由于计及专家经验、适应大规模非线性系统，因此 所示，通常采用与直流并联的交流联络线的有功功 在电力系统中得到了广泛应用。文献6〔〕利用模糊神 率作为控制器的输人，输出信号作为采用定功率控制的 经网络设计PSS，克服了模糊控制和神经网络各自的 整流侧参考功率的附加信号。其中，凡是放大环节增 缺点。文献汇7]设计了一种自适应模糊PSS，其动态 益;T、是滤波环节的时间常数 汀，一T4是超前一滞后 行为类似于传统的比例积分式控制器，具有较好的