一种劣质数据上统计量的获取方法.pdfVIP

第4卷 第5期 智 能计 算 机 与 应 用 Vo1．4No．5 2014年 1O月 INTELLIGENT COMPUTERANDAPPLICAT10NS 0ct．2014 一 种劣质数据上统计量的获取方法 张 岩，唐 兴 (哈尔滨工业大学计算机科学与技术学院，哈尔滨 150001) 摘 要 ：随着数据时代的发展，劣质数据越来越普遍存在于数据库中，严重影响了数据的质量，这给数据管理带来了新的挑战．目 前，已经有很多管理劣质数据的数据模型面世，实体数据模型就是其中一种，模型以每条元组表示一个现实世界中的实体，允许劣 质数据的存在，鉴于该模型的特点，在进行查询操作时，要根据查询语句和数据的相似程度判断数据是否满足用户需求 ，因此在实 体数据模型相似判断的查询操作中，统计数据库中某条记录大约可以和多少记录相似即能为查询优化工作做一定的贡献，本文就 如何获取这个统计量展开研究并提出一种有效的聚类算法解决这个问题。 关键词 ：劣质数据；聚类；统计量；查询优化 中图分类号： TP311 文献标识码： A 文章编号：2095—2163(2014)05—0026—04 A M ethodforAcquireStatistiCSonDirtyDatabase ZHANG Yan．TANG Xing (SchoolofComputerScienceandTechnology，HarbinInstituteofTechnology，Harbin150001，China) Abstract：Alongwiththedevelopmentoftheeraofdata，dirtydataismoreandmorewidelyexistinginthedatabase，and producestheseriousinfluenceinthequalityofthedata，whichbringsnew ch~lengestodatamanagement．Nowdays，there emergesalotofdatamodelfordirtydatamanagement，oneofthem isentity—basedrelationaldatamodelinwhichonetup— lerepresentsanentityinreal—world，andMlowsforthepossibilityofbaddata．Inviewofthecharacteristicsofthemodel inthequeryoperation，accordingtothesimilarityofthequeryanddatatojudgewhetherthedataiswhatuser’Srequire— ments，SOinthequeryoperationsoftheentitydatamodelsimilarityjudgment，countinghowmanyrecordssimilarwithone recordinthedatabasecoulddocertaincontributionforqueryoptimizationwork．Basedontheaboved，thisarticleprovides theresearchonhowtoobtainthestatisticandputforwardakindofeffectiveclusteringalgorithm tosolvethisproblem． Keywords：DirtyData；Clustering；Statistics；Query Optimization 0 引 言 1 预备知识 数据质量…始终是数据管理中引发高度研究关注的热 在实体关系数据模 型中，属性值是不确定的，包含多个 点之一。数据质量问题中最常见的现