《删冗系统数据冗余特征挖掘.》.pdfVIP

小 型 微 型 计 算 机 系 统 2014年 10月 第 10期 Journal ofChineseComputerSystems VO1．35 No．10 2014 删冗系统数据冗余特征挖掘 江志雄 ，陆春阳 ，余宏亮 。(中国石油昌平数据中心，北京 102206) (清华大学 高性能计算研究所，北京 100084) E—mail：jiangzhixiong@cnpc．tom．ca 摘 要：作为一项能够有效缩减数据存储量的技术，重复数据删除在存储系统 中获得广泛应用．然而，目前针对删冗系统数据 冗余特征的研究存在不足，大多仅关注如何提高针对特定数据集的删冗率．本文对删冗系统文件层次的数据冗余特征进行更深 入的挖掘．首先基于冗余数据块定义了文件和文件集合相关性的概念，将相关性挖掘 问题归结为频繁项集挖掘 问题．然后给 出 离线生成事务组数据库的流程，以便应用频繁项集挖掘算法进行相关性计算．最后提出内嵌到删冗系统之中的相关性挖掘增量 式算法，从而准实时地进行数据冗余特征分析．通过本文工作可以更好地理解删冗系统中冗余数据的来源和分布，从而针对实 际应用环境设计更有效的删冗算法和 10优化算法． 关 键 词：重复数据删除；存储系统；数据冗余特征 ；频繁项集挖掘 中图分类号：TP311 文献标识码：A 文 章 编 号：1000—1220(2014)10-2237-06 M iningofDataRedundancyCharacteristicinDeduplicationSystems JIANG Zhi—xiong ，LU Chun．yang ，YU Hong．1iang (CNPCChangpingDataCenter。Beijing102206，ChinaJ (LabofHighPerformanceComputing，TsinghuaUniversity。Beijing100084-China) Abstract：DataDeduplicationiswidelyadoptedinstoragesystemsasaneffectivestoragesavingtechnique．However，currentlymost studiesondataredundnacycharacteristicofdedup systemsonlyfocuson increasingdatadedupratiosforspecificdatasets．Thispaper presentsanovelstudy on file—leveldaat redundna cy characteristicofdedup system s．Firstly wedefinethecorrelation offilesnad filesetsbasedontheduplicatedatablockstheyshare，nadreducethecorrelationminingproblem tohtewell—sutdied~equentitemset miningproblem ．Secondlyweproposehteprocessoftransforminghtededup—metadataintortnasactiongroupdatabaseinordertoapply algorithmsofrfequentitemsetmining．Finallywedesignallincrementalalgorithm forcorrelationmining，whichcna beembeddedinto htededupstoragesystem toachievenera—realtimena alysisofdaat redundancychraacteristic．OurworkCna beusedtounderstnadthe sourcesna ddistributionsofredundancydaat indedupsystemsbetter．ConsequentlyitCna helptodesignmoreadaptivededupalgo— rithmsnad10 optimizationalgorithmsaccordingtohtespecificapplicationenvironments．