关系数据中函数依赖检测方法.pdf

第 40卷 第 1 期 计 算 机 学 报 Vol . 40 No . 1 2017 年 1 月 CHINESE JOURNAL OF COMPUTERS Jan . 2017 关系数据中函数依赖检测方法 钟 评 李 战 怀 陈 群 (西北工业大学计算机学院西安710129) 摘要在数据质量研究中函数依赖被广泛用于关系数据不一致性的修复.然而，不一致修复问题面临的一个主 要挑战是如何从包含有错误的关系数据中自动发现有效的函数依赖 （Functional Dependence , ) .目前基于统计 度量置信度的F D 自动发现方法经常找出大量近似成立但无效的F D .如果直接利用这些F D 修复数据，会产生更 多错误.针对该问题，文中提出了一种基于数据语义分析的函数依赖检测方法.该方法通过条件概率来分析属性值 和元组的数据置信度，进而计算函数依赖成立的置信度.文中同时提出了利用关系数据构建马尔科夫毯贝叶斯网 络用以计算数据置信度的方法.最后文中通过实验在模拟数据和真实数据上验证了基于数据语义的置信度计算方 法在自动检测中的精确度优于基于统计的计算方法，并且在交互式检测应用场景中数据语义的置信度所需用户工 作量少于基于统计的方法 关 键 词 数 据 质 量 ；函数依赖；数据置信度； 件概率 中图法分类号 T P 311 D O ][号 10. 11897/SP J . 1016.2017. 00207 A F u n c t i o n a l D e p e n d e n c i e s C h e c k i n g M e t h o d in R e l a t i o n a l D a t a Z H O N G Ping LI Zhan-Huai C H E N Q u n O e p a rim e n i o f Com puter Science , NorLhivesLern PolyLechnical U niversity , X i ’an 710129) A b stract In data quality research , Functional Dependencies (F D s ) have been widely used to repair inconsistent relational data . H o w e v e r , the main challenge of repairing inconsistent data is h o w to discover valid functional dependencies from errorous relational data . T h e existing F D discovery methods , which are based on statistical confidence measurement , usually find m a n y approximately correct but actually invalid F D s . Directly applying these discovered F D s to repair inconsistent relational data m a y introduce more data errors . T o address this issue , w e propose a