开放可伸缩关系数据模型和数据分区策略研究.pdf

摘要 摘要 随着互联网的逐步社会化，各行各业的数据生产能力达到前所未有的高度， 大数据(BigData)概念在这一背景下被提了出来，并且吸引了越来越多的关 注。随之而来的是各式各样的大数据技术，简言之，大数据技术指从海量形式 各异的数据中，快速获取信息价值的能力。其中数据模型和数据存储技术研究 是数据科学领域中的一项基础性工作，能够为上层数据库构建、数据存取、数 据分析和挖掘提供有力支撑。 论文描述了大数据技术的研究背景、研究意义，分析了大数据的特点及主 流的数据处理技术，同时给出了大数据模型及相应数据分区策略的研究现状。 然后，针对传统关系数据模型数据类型受限，并发查询性能低和横向伸缩性不 足的缺陷，提出了一个开放可伸缩关系数据模型，该模型采用类关联数据的方 式保留并扩展了传统关系模型的关系描述能力，提供了开放的数据类型支持， 并借鉴key-value的思想，提供了完全的横向伸缩特性，迎合了大数据体量庞 大、类型多样、增长迅速的特点。在此之上，以构建一个高伸缩性、高可靠性 和便于进行跨数据中心部署的存储系统为目标，从具体的数据存储角度出发， 针对OSRDM及其它基于key—value的数据模型，在分析现有数据分区与冗余机 制的基础上，提出了一个基于一致性哈希的弹性冗余数据分区策略，该策略将 一致性哈希算法与数据冗余机制相结合，在最大程度发挥key-value类数据模 型高横向伸缩性特点的同时，通过可控冗余保证数据的可靠性，同时提升数据 的并发访问性能。 对所提模型和策略的评价工作分为定性分析和定量实验两个部分，分别针 对开放可伸缩关系数据模型和基于一致性哈希的弹性冗余数据分区策略，从功 能特性和性能指标两方面，与主流数据模型及数据分区策略进行分析对比，评 价结果显示出了OSRDM和CHAFRAS的优越性。 关键词：分布式数据库；NoSQL数据模型；关系数据模型；数据分区；一致性哈 希 Abstract WiththeIntemet an ofthe becomingindispensablepart society,thegenerating ofdatafromallwalksoflifehasreachedan level．The speed unprecedentedconcept Datais this andattracts attention．In Big broughtupupon background increasing frontofthe data at arisethe moment．Tosome technologieshistory challenges，big data isaimedat valuableinformationfromvarious extent,bigtechnology fetching of these andrelatedresearchondata typesdata．Amongtechnologies，database modelsand data addresstheissuesofhowto and storagepatterns describe，organize store datasets acccss for large efficiently,providingqualifiedcapacity