基于变异MD5的快照差分算法.pdfVIP

第31卷第 12期 微 计 算 机 应 用 Vo1．31No．12 2010年 l2月 MICR0C0MPUTER APPLICAT10NS Dec．2010 基于变异 MD5的快照差分算法 唐向阳 陈维维 房元平 (暨南大学信息科学技术学院 广州 510632) 摘要：如何有效、及时地检测和抽取信息源的增量数据是数据仓库及各种数据集成 的首要问题，而对于简单的数据源通常用 比较数据源两个时刻的快照的方法来检测增量数据。本文从传统SortMerge快照差分算法代价和效率人手 ，分析提升其效率 和速度的可能方法，并提出基于变异的M5的SortMerge算法，有效减少比较的数据量和输入输出的数据量 ，显著的提高了算 法的效率。 关键词：快照差分 增量检测 MD5 SortMerge SnapshotDiffrentialAlgorithm UsingVariedMD5 TANG Xiangyang，CHEN Weiwei，FANG Yuanping (CollegeofInformationScienceandTechnology，Ji’nanUniversity，Guangzhou，510632，China) Abstract：Detectingandextractingmodificationfrom informationsourcesefficientlyandtimelyisakeypartofdatawarehousingand otherdataintegrating．Forunsophisticatedsources，periodicallycomparingthesnapshotsofthedatasourceistheusualwayofdetecting modifications．WerecommendthepossiblewaysofimprovingtheoriginalSortMergesnapshotdifferentialalgorithm byanalysisitsspeed andcosts，andproposeanew algorithm usingavariedMD5algorithm tocompressitscontents，whichefficientlyreducestheIO costs andfaster’speed． Keywords：SnapshotDifferential，ModificationDetecting，MD5，Sort Merge． ‘ 随着人类社会信息化进程的不断推进和计算机技术的飞速发展，数字化的信息总量呈现几何级数增 长，如果能够集成和有效高效地利用这些数据信息，将会给人类社会带来极大的效益。数据集成的基础和 最早的工作是进行增量检测，目前关于数据源增量检测方法大体上有基于时问戳法，基于触发器法，基于 日 志分析法 ，基于变更轨迹表法 ，以及基于快照差分法 等 。 对于增量数据检测方法在理论上的研究成果最初由斯坦福大学的W．J．Labio和 H．Garcia—Molina在 1995年发表的一份技术报告 中提出，他们从数据库的连接算法如 Nested—LoopJoin、MergeJoin等出发引 申出多种可用于比较大型数据库快照比较的算法。并在此研究基础上，1996年在文献 [3]中他们又分析总 结出了适用于数据仓库的几种高效的快照差分算法，包括SortMerge、PartitionHash、Window算法等。 本文于2010—09—21收到，2010—11—08收到修改稿。 2 微 计 算 机 应 用 2010年 1 快照差分算法 1．1 问题的形式化描述 对于快照差分问题，在文献[4]中有如下描述：有两个快照sF，sF：，目标是产生一个输出△F={r1， r：，…，r。}，其中r为增量记录元组。增量元组的形式以及他们的语义为 (I)Delete，Ki：快照sF 中存