基于强化学习算法的自适应直流附加阻尼控制器 adaptive hvdc supplementary damping controller based on reinforcement learning.pdfVIP

基于强化学习算法的自适应 直流附加阻尼控制器 郭力，张尧，胡金磊 (华南理工大学电力学院，广东广州510640) 摘要：提出了基于强化学习算法的直流附加阻尼控制器。控制器主体采用模糊神经网络，利用由系 统性能指标生成的强化信号在线训练控制器参教。与传统的模糊控制器相比．由于该控制器采用自 适应启发式评价算法．将系统输出性能指标转化为强化信号反馈给控制器。使其能够在线修改控制 器参数．因此有效地克服了传统阻尼控制器的设计对系统精确数学模型的依赖。仿真结果表明，与 传统的阻尼控制器相比．基于强化学习算法的直流附加阻尼控制器能够有效地抑制区域闻的功率 振荡．提高交直流系统的动态稳定性，并且对多种运行方式具有一定的鲁棒性。 美键词：强化学习；低频振荡；联想搜索网络；传统附加阻尼控制器 中图分类号：TM712；TPl8文献标识码：A 并利用序优化遗传算法对其参数进行优化。文献 0引言 [13]采用类似方法设计了直流附加模糊阻尼控制器。 上述模糊阻尼控制器大多采用精确训练样本学 由于缺乏足够的机电振荡阻尼，尤其是发电机 所提供的电磁阻尼转矩不足，电力系统区域间的功 习隐含在非线性系统本身的规律．以调整网络权系数。 率会发生相应的振荡。由于其振荡频率很低，故称 但在一些复杂的应用中．精确的训练样本往往难以获 为低频振荡m”。 得。强化学习作为一种学习算法，只需要把系统的 近年来．具有快速响应特性的灵活交流输电设备 性能指标转换为评价指标．对控制器的动作进行惩 罚和奖励．以最终获得对系统的优化控制动作m删。 (FAc码)和高压直流输电(HvDc)成为电力系统动 态调节的主要手段之一，文献[4]指出，在交直流互 这里将强化学习算法(智能算法)应用于直流附 连系统中的直流调制中配置与电力系统稳定器(PSS)加阻尼控制器的设计中。给出了控制器的设计框 具有相类似设计结构的附加阻尼控制器(CSDC)，图，详细介绍了控制器的构成和学习算法，并通过一 以交流侧系统频率或者以与直流并联的交流联络线 个互联多机交直流系统在不同运行方式和振荡模式 的传输功率为输入信号．能够有效地抑制对通过平行 下对该附加控制器和CSDC的性能进行了比较。 交流线路互联的区域振荡模式．且对其它振荡模式影 响不大。 l基于强化学习算法的直流附加阻尼控制器 模糊控制、神经网络、遗传算法等”3人工智能技 基于线性相位补偿原理的csDc结构如图1 术由于计及专家经验、适应大规模非线性系统．因此 所示．通常采用与直流并联的交流联络线的有功功 在电力系统中得到了广泛应用。文献f6]利用模糊神 率作为控制器的输入，输出信号作为采用定功率控制的 经网络设计PSs，克服了模糊控制和神经同络各自的 整流侧参考功率的附加信号。其中，恐是放大环节增 缺点。文献[7]设计了一种自适应模糊PsS，其动态 益：r，是滤波环节的时间常数；rl—f。是超前一滞后 行为类似于传统的比例积分式控制器，具有较好的 环节的时间常数：直流整流侧采用传统的PI控制器。 鲁棒性。文献[8]利用神经网络在线修正模糊Pss 的参数。文献[9]将Prony算法应用于模糊阻尼控 制器的参数调节和整