海量COMTRADE数据并行解析算法.pdfVIP

第 卷 第 期 年 月 日 海量数据并行解析算法 桂 勋 姚 兰 钱清泉 电子科技大学空天科学技术研究院四川省成都市 成都信息工程学院控制工程系四川省成都市 西南交通大学电气工程学院自动化研究所四川省成都市 摘要针对电力系统暂态监测数据向海量化发展的趋势以及对各种串行编程分析软件造成的计 算压力研究了一种基于多核的采用流水线设计思想的海量电力系统暂态数据交换通用格式 数据文件并行解析算法在面向二进制格式的并行解析算法中采用了 阶段的 流水线步骤第 阶段为文件读取第 阶段为多线程解析在面向美国标准信息交换码 格式的并行解析算法中采用了 阶段的流水线步骤前 个阶段与二进制格式的并行解析算法一 样第 阶段为块边缘解析打破了传统的串行文本解析算法算法通过有效利用以往被忽视的数 据文件中的序号信息大幅提升了并行解析的并行度试验证明此算法可获得相当高的加速比并 且可随着 核数的增加和 数据文件的加大获得线性加速比 关键词海量数据暂态数据交换通用格式 多核流水线并行解析电力系统 中图分类号 引言 标准 近年来随着电子技术的快速发展电力系统暂 为规范不同厂家的电力数字记录设备进行系统 态录波明显向高采样率连续稳态记录和海量存储 故障录波与暂态仿真的存储格式便于第三方的处 理和分析 在 年制定了 标 的趋势发展 其中为了提高海量故障录波数据