多数据中心非结构化数据复制方法的研究.pdfVIP

中文摘要 摘要： W曲2．0时代改变了互联网，互联网用户的交互行为产生了越来越多的非结构 化数据，存储于分布在世界各地的数据中心中。每个数据中心拥有数量庞大的服 务器，基于备份和读取性能的原因，在这些不同地理位置的数据中心之间进行数 据复制十分必要。 论文研究了非结构化列族数据库(Hbase)复制时的数据筛选和存储方式；讨 论了针对Hbase数据中心的数据复制方式及其域间复制网络，研究了区域中拥有 多核心和共享核心对域间复制网络可扩展性的影响，在域间网络路由熵的可扩展 性理论基础上进行了比较；最后根据最早截止时间优先调度算法(earliestdeadline first：EDF)的理论，研究了基于优先级增长概率的优先级复制任务队列。 论文的主要工作如下： 基于HBase按列族存储的特点，在复制时直接对列族进行筛选和存储。并且 讨论了一种二维哈希寻址方案，根据表和列族进行相对集中的存储和寻址，加大 了读取的效率，减少了并发连接；在此基础上改进了在目标数据中心中随机选取 一组复制节点的方法。 改进了构建复制网络和通过网边直接进行复制的数据复制方法；在此基础上 提出了共享核心域间网络的源．核心复制树生成算法，并用路由熵的理论对域间复 制网络的可扩展性进行了评估，其可扩展性好于传统域问网络。 建立了基于优先级增长概率的动态优先级复制任务队列，研究了这种概率序 列的生成和修正方法，编程测试结果表明其表现符合实际要求。同时探讨了复制 任务的合并及其优先级增长概率与合并任务数的关系。 关键词：分布式数据中心；非结构化数据复制；一致性哈希；域间复制；优先级 队列 分类号：TP319 ABSTRACT ABS’l。RAC’I’： Intemetis W曲2．0．More challged andmorenon．s仃uctul旧dataare by being interactionusers．Thesenon—stmctur．edataarestored generatedby anlong indatacenters aUaroulldthe w}licht11erearea of world，in seⅣers．Data large锄ount replication be帆een datacentersfbmdi岱。rentlocationsis moreaIldmorea becoming pressing needfordata aJld bacl(uppe响mallcerequirernent． We metllodshowHBasefilters锄d improVe storesdatawhen replicating．An e仃ectiVefordata isdiscussedeXtendedtointer ismen way r印licating domain，which tobewithmulti·coresand improVed shared-cores fonⅣarda scalable．Finally’we