基于Hadoop平台的XML文档重复数据检测①.pdfVIP

2013 年 第 22 卷 第 11 期 计 算 机 系 统 应 用 基于 Hadoop 平台的XML 文档重复数据检测① 李振兴, 刘 波 (暨南大学 信息科学技术学院学院, 广州 510632) 摘 要: XML 数据越来越广泛地被用于信息交换与集成中, 其数据质量问题引起了人们的关注. 解决由数据质量 引发的问题, 实体识别技术非常关键. 为了克服现有方法的不足, 在海量 XML 数据上进行高效的重复对象检测, 以实体识别技术为基础提出了基于Hadoop 平台的XML 文档重复检测算法, 它将所有标签节点统称为属性, 用实 体来描述属性, 通过属性的比较, 快速地找到在某些属性上相同的所有实体对象, 并利用 Hadoop 应用框架处理 海量数据的优势实现并行处理. 经过试验验证该方法良好的扩展性, 伸缩性和高效性. 关键词: XML; 数据质量; 重复检测; Hadoop; 分布式 XML Data Duplicate Detection Based on Hadoop Platform LI Zhen-Xing, LIU Bo (College of Information Science and Technology, Jinan University, Guangzhou 510632, China) Abstract: As being more and more widely used for data exchange and integration, the XML data quality issues cause more concern. In order to overcome the problems caused by data quality, Entity Resolution(ER) is critical. To overcome the drawbacks of current methods’s deficiency and perform entity resolution efficiently and effectively on massive XML data set, under the basis of Entity Resolution, an XML data duplicate detection based on hadoop platform algorithm is presented in this paper. The method uses entities to describe their atrributes. By the comparing of the attributes,we can find all the objects that have the same attributes quickly. Meanwhile, taking the advantage of the Hadoop platform which can process massive data parallel. From the experiments, the method has excellent performance in scalability, flexibility and efficiency. Key words: XML; data quality; duplicate detection; Hadoop; distribute xml 已经成为Web 上数据交换与数据集成的主要 象是否指向同一真实世界的实体. 实体识别技术的许 标准, 其主要原因是其良好的可扩展性, 以及其结构 多方法已经在关系数据上提出并使用[6-9], 但是由于 的灵活性．由于使用日趋广泛, xml 文档的数据质量问 xml 数据结构多样, 致使这些方法并不适用. 近年来, 题引起了人们的关注, 如输入错误、各数据源中数据 一些在 xml 数据上识别实体的方法被提出来. 的结构差异、表达方式不同等因素令 xml 文档中存在