XNM内容筛选中的快速串匹配算法.pdfVIP

中 文 信 息 学 报 第 19卷第2期 JOURNALOFCHINFSEINFORMATIONPROCESSING Vol.19No.2 文章编号:1003一0077(2005)02一0020一08 XNM 内容筛选中的快速串匹配算法 刘 萍，谭建龙 (中国科学院计算技术研究所软件室，北京 100080) 摘要:本文提出了一种对XML文本进行快速串匹配的算法一Watch。在对于XML文本的含路径信息的 模式串匹配中，由于WL文本的结构化特点，使得传统的串匹配算法不能直接有效的使用;而现有的大部分 XML内容筛选方法都是基于SAX分析的事件驱动过程，效率普遍较低。Watch在对XML文本的结构一sche- ma进行分析的同时，结合模式串的路径信息，建立一个扫描自动机的有限状态自动机;此外，算法还支持带循 环引用路径信息的模式串匹配。XMatch容易扩展，可以支持普通的结构化文本的串匹配。实验结果显示，本 算法的效率比使用SAX事件驱动的方法有明显的提高。 关键词:计算机应用;中文信息处理;XML数据处理;串匹配;多关健词匹配 中图分类号 TP391 文献标识码:A AFastStringMatchingAlgorithminContent-basedXVLFiltering I.IUPing,TANJian-long (SoftwareDivision,InstituteofComputingTechnology,ChineseAcademyofSciences.Beijing100080,China) Abstract二WeproposeanalgorithmtodofaststringmatchofXMLfiles-Watch.InthepatternstringmatchingofXMLfiles whichcontainpathinformation,traditionalstringmatchalgorithmscantbeeffectivelydirectlyusedduetothestructured characteristicsofXMLfiles;MostoftheavailablemethodsofXMLcontentfilteringarebasedonSAXeventdrivenwhichis notveryefficient.Whenanalyzingschema-thestructureofWLfiles,Watchutilizesthepathinformationofpatternstring toconstructaDFA;Inaddition,thealgorithmsupportpatternmatchingwithloopreferencepathinformation.Watchis scalableandcansupportstringmatchingofcommonstructuretext.Experimentresultsshowthat，theefficiencyisdistinctly improvedcomparedwithusingthemethodofSAXeventdriven. Keywords:computerapplication;Chineseinformationprocessing;XMLdataprocessing;stringmatching;multiplekey- wordmatching 1 前言 传统的串匹配算法是将待扫描的文本看成是一维的字符串，充分利用模式串的特征，在扫 描的过程中，尽可能的向前跳跃，从而达到较高的匹配速度。文献 1「」中详细的阐明了现有的 各种串匹配算法，并对他们的性能做了比较。 但是，随着Internet的快速发展，各种Internet的应用越来越多的采用一种统一的数据格 式—