大规模PC集群语义系统纠删码Hash容错算法.pdfVIP

第3O卷第8期 科 技 通 报 VoI．30 No．8 2014年8月 BULLETINOFSCIENCEANDTECHN0L0GY Aug．2014 大规模PC集群语义系统纠删码Hash容错算法 诸振家，陆云帆 (深圳信息职业技术学院软件学院，广东深圳518172) 摘 要：设计基于纠删码技术的大规模PC集群语义系统，有效保证数据的容错性是关键。传统方法采 用水平阵列纠删码可能导致随机码的校验数据位与信息数据位分离，从而导致误删。提出一种基于集 合间的映射机制和集合 内的分发机制的大规模PC集群语义系统的纠删码Hash容错算法，首先把纠删 码容错技术的存储系统映射到Hash空间，设计纠删码编码数据块放置算法，定义了可靠性代价函数、 删码容错性评价值和平均访问时间作为评价指标。实验表明，该方法能有效提高大规模PC集群语义 系统中数据传输和存储的容错性，平均访问时间缩短，平均无故障时间延长，容错性评价值最高，保证 数据传输和存储安全。 关键词：纠删码 ；语义系统；容错算法；Hash空间 中图分类号：TP399 文献标识码：A 文章编号：1001—7119(2014)08—0215—03 Algorithm ofErasureCodesHashFaultTolerantBasedon Large。-’scalePCClusterSemanticSystem ZhuZhenfia，LuY~nfan (SchoolofSoftwareEngineering，ShenzhenInstituteofInformationTechnology，ShenzhenGuangdong518172，China) Abstract：Thedesignoflarge—scalePC clustersemanticsystem basedonerasurecodeisresearched，andthefaulttoler— anceofdataisthekey．Thetraditionalmethodusinghorizontalarrayerasurecodesmayleadtocheckdatainformationdata random codeseparation，leadingtofaultdelete．ThispaperputsforwarderasurecodeHashafaulttolerantalgorithm for large—scalePCclustersystem ofsemanticmappingmechanism anddistributionmechanism withinthecollectionbasedon erasurecodes．Thereliabilitycostfunction，deletecodefaulttoleranceevaluationvalueandtheaverageaccesstimearede— finedastheevaluationindex．Experimentsshow that，thismethodcaneffectivelyimprovethefaulttoleranceofthedata transmissionandstorageoflarge—scalePCclustersemanticsystem，theaverageaccesstimeisshortened，theaveragefail— arefreetimeisimproved。faulttolerancevalueishigh。itensuresthesecurityofdatatransmissionandstorage． Keywords：erasurecodes；semanticsystem ；faulttolerantalgorithm ；Hashspace 0 引言