一种基于NGram的检测相似重复记录的高效方法.pdfVIP

第35卷专料 兰 州 大 学 学报 (自然 科 学版) Vol.35Supp 1999年8月 JournalofLanzhouUniversityN(aturalScience) Aug.1999 文幸编号:0455-2059(1999)0255-07 一种基于N-Gram的检测相似重复记录的高效方法 郑越峰，田增平，季文赞 ，周傲英 复〔4大学计算机系 _L海 200433) 摘 要:如何消除数据库中的重复信息己成为数据质量研究中一个热门话题.本文提出了一种 幕于N-Gram的检测相似重复记录的方法.主要T作有:(1)给出了一种高效的基于N-Gram的 聚类算法，该算法能适应常见的拼写错误如插入、删除，替换、交换等，复杂度为0(N):(2) 介纽了一种高效的应用无关的Pairwise比较算法，复杂度为。(k);(3)采用了一种改进的优 先队列算法来准确地聚类相似或复记录. 关键词:N-Cram;RNGN;pai;wise;聚类:优先队列 0 前言 在信息技术高速发展的今天，信息集成在IT各个领域都有厂泛‘的应用.集成信息是信 息服务的基础，因此集成数据的质量直接影响到以后信息服务的质量，在有关数据质量的各 种问题中，多数据源合并造成的信息T(复是最关键的问题之一 本文主要研究如何检测数据 库中重复记录的问题.我们定义的重复记录是指那些表示现实世界同一实体的，但是在格 式、拼写上有些差异而导致DBMS不能止确识别的记录.这里，我们提出了一种基于N-Gram 的检测相似重复记录的方法. 本文主要的新思想如下:(l)给出了一种基于N-Gram的聚类方法，它能处理常见的拼 写错误如插入、删除、交换、替换和单词的交换.该算法的时间复杂度为 OW);(2)给出 了一种高效的应用无关的Pairwise比较算法，它的时间复杂度为 0W) (k是记录串的平 均长度):(3)在Pairwise比较检测相似重复记录时，采用改进了的更为高效准确的优先队 列方法. 在本文以下部分中，将详细介绍检测相似重复记录的方法.为了叙述的简便，我们简称 该算法为 “检测重复记录”算法.第2部分通过一个实例详细介绍了基于N-Gram的聚类算 法.第3部分介绍了Pairwise比较算法.第9部分结合2.3部分，提出了一种检测重复记 录的综合方法.第5部分给出了有关算法效率的实验结果评价.第6部分总结了我们的J二作. 收稿 日期:1999.05-15. 作者简介:邱越峰 (1976-),男，硕Hdf究生 一 以 }-#R(4}*V}t?k)一一一一一%35-4 1基于N-Gr二的聚类算法 1.1算法的基本思想 荃于N-Gr。的聚类算法的基本思想是:给侮个记录赋一个N-Gram值，以该值为键来对 记录聚类.在N-Gram赋值时必须尽可能地使相似程度越高的记录的N-Gram值越接近，以保 证它们将被聚到临近的区域. 上述方法可以分成标记和聚类两个步骤来实现.为了给记录标记上一个 N-Gram值，需 要顺序地遍历裂个记录文件两次 第一次遍历产有关单词的统计信息 ((N-Gram信息)井记 录到重复矩阵m中.第二次遍历根据单词中出现的所有N-Gram，参照重复矩阵M的信息为 每个单词分派一个WNGN值 一条记录中所有单词的WNGN之和构成了记录的RNGN,即该记 录的N-Gram值，该值是聚类记录的键. 聚类处理时，按照记录的RNGN值顺序地将当前记录与队列中所有记录作Pairwise比较， 如果和队列中某个记录重复，则把当前记录加入原有的cluster或形成新的cluster.反之 则把当前记录单独加到队列中，并调整优先级.记录作Pairwise比较的基础是单词 (字符 串)的Pairwise比较.我们将在第3节中详细说明Pairwise的比较方法. 1.2 计算记录的RNGN值 如果有 卜面两个记录: YIColonel 动 DepartmentofComputerScience,DniversitvofCnliforn叔 SanDiego,CA92093 FFaannnn Departamnrt,ofCaliforniaDniversv,SanDieg