FMindex算法加速压缩文件字符串查找的性能测试及并行化初探研究.pdf

10 2005高性能计算应用大会 FM-i ndex算法加速压缩文件字符串查找的 性能测试及并行化初探 张广治 张云泉 (中国科学院软件研究所并行计算实验室北京100080zhanggz@mail．rdcps．ac．cn 中国科学院计算机科学国家重点实验室北京100080zyq@mail．rdcps．ac．anJ 【摘要】本文概括介绍了FM～index压缩查询技术，详细阐述了FM—index的工作流程，描述了实现计算字 符串在压缩文本中出现次数的算法。对FM—index的源代码在Linux平台上进行了测试，从测试结果分析了 使用FM—index进行压缩查询的优点和不足。在最后给出了加快FM—index压缩速度的一个并行化算法的初 步设计思路。 关键字：FM—index，压缩查询，BW转换，后缀数组 searchin Acceleratingstring compressed textwithFM．index ZhangGuangZhiZhangYunQuan Parallel of of 1 (Lab．of Software，ChineseAcademy 00080) Computing，Institute Sciences，Beijing (StateKeyLab．ofComputerScience，InstituteofSoftware，ChineseAcademyofSciences，Beijing100080) (zhanggz@mail．rdcps．ac．cnzyq@mail．rdcps．fie，ca) Abatract：FM-indexisanew for text．Inthis introducedthe searching technology compressed paper,we working ofFM—indexand the in text．Thesourcecode occurrence procedure analyzedalgorithmofcountingstring compressed ofFM—indexistestedontwokindsofLinux basedonthe summarizedthe results，we platforms．Finallyexperimental of FM—indextosearch text． advantagesadopting compressed Keyword：FM—index，searchcompressedtext，BWtransform，suffixarray 1引言 且查询字符串在文本中的出现次数操作非常快。 如何寻找查询修改时间和空间占用的平衡方 目前处理器速度提高得比硬盘速度快，这样 案是目前设计数据结构索引