《Part-Join：基于划分的字符串相似性连接》.pdf

第 31卷第 10期 计 算 机 应 用 研 究 Vo1．31No．10 2014年 lO月 ApplicationResearchofComputers 0ct．20l4 Part—Join：基于划分的字符串相似性连接术 陈懿诚，骆吉洲，李建中 (哈尔滨工业大学 计算机科学与技术学院，哈尔滨 150001) 摘 要 ：目前 ，已有许多高效的字符 串相似性连接算法被提 出，但是这些算法在过滤的过程 中利用的往往是字 符串本身的局部信息，而忽略了字符串集合的整体信息，故性能没有得到充分的提高。为此，提出了一种基于划 分的算法Part—Join，它从频率向量、字母袁、频率分布三方面对数据集进行子集划分，并给出子集间的过滤策略 用于排除不相似的字符串对。扩展实验表明，Part—Join比已有算法Pass—Join效率提高了10％～15％。 关键词 ：相似性连接 ；划分；频率；编辑距离 中图分类号 ：TP391 文献标志码 ：A 文章编号 ：1001—3695(2014)10．3002—05 doi：10．3969／j．issn．1001—3695．2014．10．028 Part—Join：partitionbasedstringsimilarityjoin CHENYi—cheng，LU0Ji—zhou，LIJian—zhong (SchoolofComputerScienceTechonlogy，HarbinInstituteofTechnology，Harbin150001，China) Abstract：Recentlymanyeffieentsimilarityjoinalgorithmshavebeenproposed，however，thesealgorithmsriseonlythelocal informationofthestringsandnegeleettheglobalinformationofthedataset，sotheperformancehasnotbeensufficientlyim— proved．ThispaperproposedPart—Join，whichpartitionedthedatasetintosubsetswiththehelpofrfequencyvector，alphabet andt~equeneydistribution，meanwhile，itdevicedsomeprunningstrategiestofilteroutdissimilarstringpairs．Experimental resultsshowthatthealgorithm presentediSmoreeffieientthanPass—Joinwiththeefficiencyincresedby10％ to15％． Keywords：similarityioin；partition；~equency；edit—distance 字符串相似连接是在给定字符串集R和S中找出r R和 个符号W建立倒排索引，(1en，，W)；然后利用索引结构为字 S S中的所有相似串对 (r，s)，其中字符串间的相似性由特定 符串r选出可能与之相似的所有字符串S；最后利用编辑距离 的度量函数给出。目前，被广泛采用的度量函数包括编辑距 验证 r与S之间的相似性。 离 -3j、Jaccard距 离 、Cosine距离 以及这些距离 的变 本文研究提高Pass—Join效率的有效机制，为叙述方便 ，文 体 。字符串对 (r，s)的编辑距离 ed(r，S)是将r修改为s 中假定用于连接操作的两个数据集合满足R=S(R ≠S时类 需要的基本编辑操作 (插入 、删除、修改单个字符)的最小次 似)