一种基于N-Gram的检测相似重复记录的高效方法.pdfVIP

第35卷专辑 兰州大学学报(自然科学版) Vol35Supp 1999年8月 Journal ofLanzhou Scieace) University(Natural Aug．1999 文章编号：0455-2059(1999)0255—07 一种基于N—Gram的检测相似重复记录的高效方法 邱越峰，田增平，季文赘，周傲英 ，， (复日J人学训算机系，上海200433) 摘要：细何消除数据库中的重复信息己成为数掂质量研究中一个热门话题奉文提出了一种 聚类算法，该算法能适应常见的拼写错谍如捅入、删除，替换、交换等，复杂度为O(N)：(2) 先队列算法米准确地聚类相似霞复【已录． 关键词：N—Gram：RNGN：pall叶1se：聚娄：优先队列 0前言 在信息技术高速发展的今天，信息集成在IT各个领域都有J“泛的应川．集成信息是信 息服务的基础，因此集成数据的质鼙直接影响到以后信息服务的质量．在有关数据质量的各 种问题中，多数据源台并造成的信息重复是最关键的问题之一．本文主要研究如何检测数据 库中重复记录的问题．我们定义的重复记录是指那些表示现实世界同一实体的，但是在格 的检测相似重复记录的方法． 写错误如插入、删除、交换、替换和单词的交换．该算法的时问复杂度为0(S)；(2)给出 (k是记录串的平 了一种高效的应』{=l无关的Pairwise比较算法，它的时间复杂度为0(k2) 列方法． 在本文以下部分中，将详细介绍检测相似重复记录的方法．为了叙述的简便，我们简称 该算法为“检测重复记录”算法．第2部分通过一个实例详细介绑了基丁．N-Gram的聚类算 录的综台方法．菊5部分给出了有关算法效率的实验结果评价．第6部分总结了我们的j：作． 收藕日期：1999．05．15． 作者简介：邱越峰(1976一)，男，颥{‘研究生． 256 兰州大学学报(自然科学版) 第35卷 1基于N—Gram的聚类算法 1．1算法的基本思想 基●：N吨rafIl的聚类算法的基本思想足：给每个记录赋一个N-Gram值，以该值为键来对 记录聚类．在N-Gram赋值时必须尽可能地使相似程度越商的记录的N-Gram值越接近，以保 证它们将破聚到临近的区域． 上述方法可以分成标记利聚类两个步骤米实现．为了给记录标记上一个。N-Gram值，需 要顺序地遍历牲个记录文件两次．第一次遍历产有关单词的统计信息(N—Gram信息)并记 录到重复矩阵M中．第二次遍历根据单词中出现的所有N—Gram，参照重复矩阵M的信息为 每个单词分派一个’『NGN值．一条记录中所有单词的When之和构成了记录的RNGN，即该记 录的N-Gram值．该值是聚类记录的键． 聚类处理时，按照记录的RNGN值顺序地将当前记录与队列中所有记录作Pairwise比较， mq把当前记录单独加到队列中，井调整优先级记录作Pairwise比较的基础是单词(字符 串)的Pairwise比较．我口锵在第3j，中详细说明Pairwise的比较方法． 1．2计算记录的RNGN值 如果彳『F面两个记录： of y1Lblone!FanninDelⅪrtOlerltComputelScience,妇iversityofC月]ifornia．SanBiego,国92093 FanninFcnsputezl y2_Voloi，el 5ceince鼬∞rtmn■．ofCa2iforz7ia№ivezi弛SanDiego,避9209_9 可以看出，表中记录r2是r，的重复记录，r2包含了五种撮常见的拼写错误：插入 LgeDartmenrt)．我们按下面的步骤计算记录的RNGN值： 中单词的交换(FomputerScience H满足