数据断层现象的研究.pdfVIP

第30卷第8期 计算机应用与软件 V01．30 No．8 2013年 8月 ComputerApplicationsandSoftware Aug．2013 数据断层现象的研究 夏骄雄 汪晶玲 严琛琼 徐 俊 (上海市教育委员会信息中心 上海 200003) (上海大学计算机工程与科学学院 上海 200072) 。(标致雪铁龙集团亚洲总部中国技术中心 上海 200233) 摘 要 随着各个领域数据量的与日俱增，数据仓库技术在进行海量数据资源的管理过程中，数据断层现象已经成为亟待解决的 一 个重要问题。断层的概念来源于地质学上对于由储层非均质性而引起的岩石断裂且两侧发生明显位移的构造描述，对能源开采、 地震预防等问题具有重大的现实意义。借鉴地质断层的理论，引入数据断层的系列概念定义数据与数据之间发生局部位移的趋势， 首次从宏观和微观两方面对数据仓库中的各种数据非均质现象进行知识描述，通过数据断层剖面的分析，系统地阐述数据预处理过 程中的数据断层现象，给出数据断层在显隐断层、内间断层之间相互转化的规则和算法，初步形成了数据断层理论体系的基础，并通 过实验验证 了该理论 的有效性。 关键词 数据断层 非均质性 ．显隐断层 内间断层 中图分类号 TP311．131 文献标识码 A DOI：10．3969／j．issn．1000-386x．2013．08．003 RESEARCH oN DATA FAULTAGE PHENoM ENA XiaJiaoxiong · WangJingling YanChenqiong XuJun (InformationCentre，ShanghaiMunicipalEducationCommission，Shanghai200003，China) (SchoolofComputerEngineeringandScience，ShanghaiUniversity，Shanghai200072，China) (ChinaTechnologyCentre，Asiattea由ua~er，PSAPeugeotCitroen，Shanghai200233，China) Abstract Withtheincreasinggrowthofdataamountineachfield，inmanagementprocessofmassivedataresources，datafauhagehas becomeanurgentproblem tobesolvedindatawarehousetechnology．Theconceptoffaultagecomesfrom thedescriptionofastructurein geologythattherockcrackswithobviousdisplacementonbothsidescaused bythereservoirinhomogeneity，whichhassignificantrealistic sing ificanceoneneryg exploration，ea~hquakepreventionandSOon．Inspiredbythetheoryofgeologicalfauhage，inthispaperweintroduce aseriesofdatafaultageconcepttodefinethetendencyofpa~ial displacementbetweenthedata，andatthefirsttimegivetheknowledge descriptiononvariousdatainhomogeneityphenomenaindatawraehouserfom b