基于状态降维的快速强化学习电力网络系统控制.pdfVIP

第４２卷第３期计算机应用与软件Ｖｏｌ４２Ｎｏ．３

２０２５年３月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＭａｒ．２０２５

基于状态降维的快速强化学习电力网络系统控制

童涛陈海宾甄昊涵沈华林文浩

（国网上海市电力公司电力科学研究院上海２０００５１）

摘要为了避免大规模电力网络系统控制的维数灾，提升其可控性，提出一种基于状态降维的快速强化学习

方法。通过投影矩阵投影测量状态来构造压缩状态向量，捕获开环网络模型的主要可控子空间，从而利用网络可

控性的低秩属性避免了维数灾难；提出降维状态深度学习控制器，从而使结果成本接近最优ＬＱＲ成本。通过一

致性网络系统和ＩＥＥＥ广域控制实验结果，验证了提出的方法能够显著加快学习时间，同时保证了较好的优化

性能。

关键词状态降维强化学习网络系统维数灾难

中图分类号ＴＰ３９１．４１文献标志码ＡＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０２５．０３．０１４

ＦＡＳＴＲＥＩＮＦＯＲＣＥＭＥＮＴＬＥＡＲＮＩＮＧＰＯＷＥＲＮＥＴＷＯＲＫＳＹＳＴＥＭＣＯＮＴＲＯＬ

ＢＡＳＥＤＯＮＳＴＡＴＥＤＩＭＥＮＳＩＯＮＲＥＤＵＣＴＩＯＮ

ＴｏｎｇＴａｏＣｈｅｎＨａｉｂｉｎＺｈｅｎＨａｏｈａｎＳｈｅｎＨｕａＬｉｎＷｅｎｈａｏ

（ＳｔａｔｅＧｒｉｄＳｈａｎｇｈａｉＥｌｅｃｔｒｉｃＰｏｗｅｒＣｏｍｐａｎｙＥｌｅｃｔｒｉｃＰｏｗｅｒＲｅｓｅａｒｃｈＩｎｓｔｉｔｕｔｅ，Ｓｈａｎｇｈａｉ２０００５１，Ｃｈｉｎａ）

ＡｂｓｔｒａｃｔＩｎｏｒｄｅｒｔｏａｖｏｉｄｄｉｍｅｎｓｉｏｎｄｉｓａｓｔｅｒａｎｄｉｍｐｒｏｖｅｃｏｎｔｒｏｌｌａｂｉｌｉｔｙ，ａｆａｓｔｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｃｏｎｔｒｏｌ

ｍｅｔｈｏｄｆｏｒｌａｒｇｅｓｃａｌｅｐｏｗｅｒｎｅｔｗｏｒｋｓｙｓｔｅｍｂａｓｅｄｏｎｓｔａｔｅｄｉｍｅｎｓｉｏｎｒｅｄｕｃｔｉｏｎｉｓｐｒｏｐｏｓｅｄ．Ｔｈｅｃｏｍｐｒｅｓｓｅｄｓｔａｔｅｖｅｃｔｏｒ

ｗａｓｃｏｎｓｔｒｕｃｔｅｄｂｙｐｒｏｊｅｃｔｉｎｇｔｈｅｍｅａｓｕｒｅｄｓｔａｔｅｔｈｒｏｕｇｈｔｈｅｐｒｏｊｅｃｔｉｏｎｍａｔｒｉｘ，ａｎｄｔｈｅｍａｉｎｃｏｎｔｒｏｌｌａｂｌｅｓｕｂｓｐａｃｅｏｆｔｈｅ

ｏｐｅｎｌｏｏｐｎｅｔｗｏｒｋｍｏｄｅｌｗａｓｃａｐｔｕｒｅｄ，ｓｏｔｈｅｄｉｍｅｎｓｉｏｎｄｉｓａｓｔｅｒｗａｓａｖｏｉｄｅｄｂｙｕｓｉｎｇｔｈｅｌｏｗｒａｎｋａｔｔｒｉｂｕｔｅｏｆｎｅｔｗｏｒｋ

ｃｏｎｔｒｏｌｌａｂｉｌｉｔｙ．Ａｒｅｄｕｃｅｄｄｉｍｅｎｓｉｏｎｓｔａｔｅｄｅｐｔｈｌｅａｒｎｉｎｇｃｏｎｔｒｏｌｌｅｒｗａｓｐｒｏｐｏｓｅｄｔｏｍａｋｅｔｈｅｒｅｓｕｌｔｃｏｓｔｃｌｏｓｅｔｏｔｈｅ

ｏｐｔｉｍａｌＬＱＲｃｏｓｔ．ＴｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｆｃｏｎｓｅｎｓｕｓｎｅｔｗｏｒｋｓｙｓｔｅｍａｎｄＩＥＥＥｗｉｄｅａｒｅａｃｏｎｔｒｏｌｓｈｏｗｔｈａｔｔｈｅ

ｐｒｏｐｏｓｅｄｍｅｔｈｏｄｃａｎｓｉｇｎｉｆｉｃａｎｔｌｙａｃｃｅｌｅｒａｔｅｔｈｅｌｅａｒｎｉｎｇｔｉｍｅａｎｄｅｎｓｕｒｅｂｅｔｔｅｒｓｕｂｏｐｔｉｍａｌｐｅｒｆｏｒｍａｎｃｅ．

ＫｅｙｗｏｒｄｓＳｔａｔｅｄｉｍｅｎｓｉｏｎａｌｉｔｙｒｅｄｕｃｔｉｏｎＲｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇＮｅｔｗｏｒｋｓｙｓｔｅｍＤｉｍｅｎｓｉｏｎｄｉｓａｓｔｅｒ

度信念网络（ＤｅｅｐＢｅｌｉｅｆＮｅｔｗｏｒｋ，ＤＢＮ）算法和比例积

０引言分微分反馈的控制器，并有效地利用于具有非线性和

［４］

开环不稳定性的磁悬浮列车。Ｈｅ等基于深度神经

深度学习理论一经提出就被应用于控制系统领