基于划分增量式字符串相似性连接方法.docVIP

基于划分增量式字符串相似性连接方法 　　摘 要： 　　字符串相似性连接是数据质量管理的基本操作，也是数据价值发现的关键步骤。针对目前已有的方法不能满足面向大数据的增量式处理需求的问题，提出一种面向流式数据的增量式字符串相似性连接方法――IncJoin，并对方法的索引技术进行了优化。该方法以PassJoin字符串连接算法为基础，首先，采用字符串划分技术将字符串划分成多个互不相交的子串；然后，建立字符串的反向索引列表并将其作为状态；最后，新增数据只需根据状态进行相似性计算，每次连接操作结束后都对状态进行更新。实验结果表明，IncJoin方法在不影响连接准确率的同时，有效将长、短字符串重复匹配次数减少为n（n是批处理方式的匹配次数）。实验对3种数据集进行处理，发现使用批处理方式进行相似性连接的响应时间是IncJoin的1至4.7倍，并呈现急剧递增的趋势；而且优化后IncJoin方法的响应时间最小只占优化前的3/4，并随处理数据的增多所占比例越来越小。同时优化后的IncJoin不需要保存状态，再一次减小了算法执行的时间和空间开销。 　　关键词： 　　字符串相似性连接；增量处理；划分；字符串匹配；反向索引 　　0 引言 　　字符串相似性连接是数据质量管理的基本操作，引起学术界广泛关注[1]。字符串相似性连接的目的是选定一种算法计算字符串之间的相似度，并在数据集中找出相似度在给定阈值范围内的字符串对。计算字符串相似度的算法主要有编辑距离、杰卡德距离和Cosine距离及其变型[1-4]，特点是根据字符串本身的结构来计算其相似度；也有算法在计算相似度时考虑了字符串之间的同义词关系[5]。 　　实际应用时通常会选择一些简单且高效的算法进行相似性连接，这些算法大致可以分为两类：第1类算法能高效处理长字符串，但不适用于短字符串，例如PartEnum[6]和EDJoin[7]；第2类算法能高效处理短字符串，但不适用于长字符串，例如TrieJoin[8]。PassJoin[1-2]则能同时高效地处理长、短字符串相似性连接，它是一种基于划分的算法。基于划分算法的思想是根据一种划分规则将字符串s划分成多个子串，如果字符串r与s相似则r至少包含s中的一个子串[3]。基于划分算法的划分规则有很多，包括基于字符串长度的划分和基于字符串频率向量[4]的划分。 　　随着互联网和移动技术的发展，各种在线应用系统不断增加[9]，大数据给现有应用系统带来挑战[10-11]，流式数据使得相关批量处理方法和技术亟待改进[12]，但是已有的字符串相似性连接算法都是基于有限内存的批量处理[4]，即要求数据必须一次性读入内存。大数据时代这种做法非常不可行，增量式处理技术已越来越广泛地运用于实际应用中[13]。联机聚集和增量的多维数据集成能实时、高效地得到OLAP（Online Analytical Processing）的分析结果[14]；增量式的机器学习法经常被用于解决大规模的知识发现问题；增量式的网页爬取和索引建立对于搜索引擎来说是非常重要的[15-16]；文献[17]实现了一个增量式的处理系统，并将其用来建立Google网页查询的索引。随着学术论文数量的递增，如何从众多的文献中快速检索出重复率较高的文章是增量式字符串相似性连接的重要应用之一。研究发现PassJoin虽然能高效地过滤字符串[18]，但在处理增量数据上存在一定的缺陷，因为它会导致很多冗余的计算，特别是处理需要密集型计算的大规模数据会严重影响执行效率[19]。 　　本文在PassJoin的基础上提出了一种处理流式数据的增量式字符串相似性连接方法――IncJoin，主要思想是把字符串的反向索引列表作为状态，迭代式地更新处理历史数据得到的状态，并运用新的状态对增量数据进行相似性连接。状态由字符串的Γ+1个子串以及每个子串后面保存的包含当前子串的字符串组成。综上所述，本文的贡献点如下。 　　1）采用划分技术，以PassJoin字符串连接算法为基础，提出了一种面向流式数据的增量式处理方法IncJoin，提高了连接效率。 　　2）对字符串索引技术进行优化，减少了算法运行带来的时间和空间消耗。 　　3）通过实验证明，IncJoin方法能有效、便捷地处理增量数据，极大地减少了字符串之间的重复计算，提高了字符串相似性连接的效率。 　　1 相关概念 　　为了详细阐述IncJoin的执行流程，先作一些定义和说明。 　　定义1 字符串相似性连接。给定两个字符串集合R和S，以及一个编辑距离阈值Γ，字符串相似性连接是指找出两个数据集中所有相似的字符串组合〈r，s〉∈R×S，且满足ED（r，s）≤Γ。ED（r，s）是两个字符串之间的编辑距离，即r转变成s所需要经过的最少编辑操作次数。编辑操作包括插入、删除和替换