一种基于指令流水线的数据匹配算法.pdfVIP

计算机技术

ComputerTechnology

一种基于指令流水线的数据匹配算法

杨嘉佳，李正，郑儿，赵静，燕玮，刘金

（中国电子信息产业集团有限公司第六研究所，北京100083）

摘要：基于正则表达式的数据匹配技术在基础数据治理和清洗方面有着重要的应用价值。然而，在高性能计算领

域的数据处理过程中因算法匹配吞吐率低，无法满足大数据处理环境下对算法的高性能要求，造成其应用范围受

限。针对此现象，提出一种基于指令流水线的数据匹配算法，称之为γFA：利用Intel架构内置的向量指令流水式读入

若干字符段，通过大宽度向量比较函数进行字符段与非信任字符集的流水比值处理并转换成整型向量，通过位置定

位函数累加定位出所有整型向量的首个非信任字符位置，计算出可略过的总字符数，减少正则表达式匹配引擎因处

理非信任字符集导致访问低速内存而带来巨大的时间开销，实现正则表达式匹配算法的性能提升。实验结果表明，

γFA算法的吞吐率是原始DFA算法的15.88~53.06倍，相比于ßFA算法，吞吐率提升了35.12%~63.26%，取得较好的性

能加速效果。此外，通过对γFA算法进行优化后，性能可接近100Gb/s，为原始DFA匹配算法性能的15.88~64.94倍，

相比于γFA算法性能提升了2.15%~43.09%。

关键词：正则表达式匹配；指令流水；高性能数据匹配

中图分类号：TP391.1文献标志码：ADOI:10.16157/j.issn.0258-7998.245345

中文引用格式：杨嘉佳，李正，郑儿，等.一种基于指令流水线的数据匹配算法[J].电子技术应用，2025，51(2)：81-85.

英文引用格式：YangJiajia，LiZheng，ZhengEr，etal.Adatamatchingalgorithmbasedoninstructionpipeline[J].Applicationof

ElectronicTechnique，2025，51(2)：81-85.

Adatamatchingalgorithmbasedoninstructionpipeline

YangJiajia，LiZheng，ZhengEr，ZhaoJing，YanWei，LiuJin

(TheSixthResearchInstituteofChinaElectronicsCorporation，Beijing100083，China)

Abstract：Thedatamatchingtechnologybasedonregularexpressionshassignificantapplicationvalueinbasicdatagovernance

andcleaning.However,inthedataprocessingprocessofhigh-performancecomputing,thelowperformanceofalgorithmmatch‐

ingcannotmeetthehigh-performancerequirementsofalgorithmsinthebigda