基于D－S证据理论的不确定数据清洗-云南大学.PDFVIP

云南大学学报（自然科学版），２０１４，３６（６）：８１５～８２２ ＤＯＩ：１０．７５４０／ｊ．ｙｎｕ Ｊｏｕｒｎａｌ ｏｆ Ｙｕｎｎａｎ Ｕｎｉｖｅｒｓｉｔｙ ∗ － 基于Ｄ Ｓ证据理论的不确定数据清洗 樊金辉，岳　 昆，张骥先，刘惟一 （云南大学 信息学院计算机科学与工程系，云南 昆明　 ６５００９１） 摘要：数据清洗的任务是检测数据中存在的错误、缺失或不一致，通过删除、填充、修改等方法提高数据质 － 量．针对存在元组级不确定性的数据表上的选择投影连接操作，基于Ｄ Ｓ证据理论中置信区间的概念，给出辨 识框架构建和置信区间计算的方法，提出了一种基于待测数据项置信区间来检测查询结果中错误数据的方法． 实验结果表明，提出的不确定数据错误检测方法具有高效性、准确性和可用性． － 关键词：不确定数据；数据清洗；错误检测；Ｄ Ｓ证据理论；置信区间 － － － 中图分类号：ＴＰ ３９２　 　 文献标志码：Ａ　 　 文章编号：０２５８ ７９７１（２０１４）０６ ０８１５ ０８ 数据规模不断扩大、共享范围越来越广、数据形式多样化，大量的不确定数据随之产生，为了有效管理 － ［１ ４］ 这些数据，研究人员提出了许多不确定数据库模型 ．与此同时，大量的“脏数据”也随之产生；由于大量 错误数据广泛存在于不确定数据中，严重影响了用户对数据的管理、分析及决策．传统的数据清洗技术无 法有效清除不确定数据中的“脏数据”，不确定数据清洗技术成为国内外研究的热点，主要研究工作包括： － 重复数据删除、错误数据检测、缺失值填充、不一致数据修改等［５ １２］．因此，研究不确定数据中错误数据的 － 有效检测方法，具有重要的理论意义和实际价值，也具有相当的难度和挑战［１３ １４］． 多年来，国内外研究人员已对不确定数据清洗进行了大量的研究，针对不同应用提出了许多清洗方 － 法．文献［１５ １６］提出了基于聚合约束的清洗方法，文献［１７］提出了基于信息熵的清洗方法，文献［１８］进 － 一步提出了针对Ｔｏｐ ｋ查询的清洗方法，文献［１９］提出了在元组独立情况下的查询重写清洗方法．然而， 基于聚合约束的方法有可能删除那些不在约束条件之内但又很重要的信息，虽然提高了数据的不确定度， 但可能损失重要信息；基于信息熵的方法在待清洗数据量较大、所需代价约束较多时，难以满足实际需求； 查询重写方法针对特定实例或应用，缺乏一般性和普遍性．这些方法主要关注针对用户所给条件对给定的 不确定数据进行清洗，未考虑如何检测经过数据操作后所产生新数据中存在的错误数据．因此，针对数据 操作的执行而产生的新数据，如何利用给定的不确定数据对新数据的正确性进行检测，是本文研究的核心 － － － － 和目标．例１给出了一个不确定数据之上选择 投影 连接（ＳＰＪ，Ｓｅｌｅｃｔｉｏｎ Ｐｒｏｊｅｃｔｉｏｎ Ｊｏｉｎ）查询的例子，以 ＳＰＪ查询作为不确定数据之上的代表性操作，如何检测查询结果中的错误数据，是本文