_分布式大数据多函数依赖冲突检测.pdfVIP

第 卷 第 期 计 算 机 学 报 ４０ 　 １ 　　 　　 　　 　　 Ｖｏｌ．４０ Ｎｏ．１ 年 月 ２０１７ １ ＣＨＩＮＥＳＥ　ＪＯＵＲＮＡＬ　ＯＦ　ＣＯＭＰＵＴＥＲＳ Ｊａｎ．２０１７ 　 分布式大数据多函数依赖冲突检测 李卫榜 李战怀 姜 涛 　 　 　 西北工业大学计算机学院 西安 （ 　 　７１００７２） 摘 要 关系数据库数据质量的一个主要问题是存在数据不一致现象 为找出不一致数据 需要进行函数依赖冲 　 　 ． ， 突检测 集中式数据库中可以通过 技术检测不一致情况 而分布式环境下的函数依赖冲突检测更富有挑战 ． ＳＱＬ ， 性 特别是大数据背景下 这个问题尤为突出 分布式环境下的函数依赖冲突检测通常需要进行数据迁移 而且不 ， ， ． ， 同的数据迁移方法会对检测效率产生一定的影响 该文提出了一种基于等价类的分布式环境多个函数依赖冲突检 ． 测的方法 给出了冲突检测的响应时间代价模型 由于分布式环境函数依赖冲突检测问题的任务分配问题为 ， ． ＮＰ－ 难问题，多项式时间内难以得到最优解，该文将不一致性检测响应时间最小化问题转化为整数规划问题，并给出了 近似最优解 针对集群规模和函数依赖个数大小不同的情况 分别给出了不同的任务分配策略 并在检测过程中实 ． ， ， 现了动态负载均衡 有效提高了负载均衡度和检测效率 在真实和人工数据集上的实验表明 相对于集中式检测方 ， ． ， 法以及基于 的 方法 该文提出的多函数依赖冲突检测方法检测效率有明显的提升 且在数据规模 节 Ｈａｄｏｏｐ ｎａｖｅ ，