千万用户架构之混合型数据库的应用.docVIP

- . - . . -可修编- 云视互动-千万用户架构之混合型数据库的应用 随着云视互动平台用户规模的扩展，针对千万甚至上亿用户的可伸缩扩展的数据平台架构就显得非常关键和迫切。从产品初期到现在完善的过程中，经历了很屡次的技术选型和迭代升级，逐渐的沉淀和完善自有的一套体系，其中包括Mysql，Mongo，Redis，Memcached，HBase等技术。 什么是NoSQL NoSQL，泛指非关系型的数据库，它是“Not Only SQL〞的缩写。它的意义是：在传统关 系型数据库无法实现和满足某些业务场景的情况下，可以用NoSQL来代替局部功能，它 是?为弥补关系型数据库的缺乏应运而生。 NoSQL数据库具有如下几个大的特点： 没有模式：不需要事先定义数据模式，预定义表构造。 无共享架构：各节点数据独立。 弹性可扩：动态增加或者删除结点。 异步复制：异步解耦，提升数据处理性能。 BASE特性：非ACID特性，最终一致性和软事务。 NoSQL数据库并没有一个统一的架构和产品规，不同NoSQL数据库之间的不同，远远超过两种关系型数据库的不同。可以说，各个NoSQL数据库各有所长，成功的NoSQL数据库必然特别适用于某些场合或者某些应用，在这些场合中会远远胜过关系型数据库和其他的NoSQL数据库。 为什么用NOSQL 目前我们都生活在一个庞大的而复杂的信息化大数据时代，传统的关系数据库在应对海量数据存储和检索分析的时候，基于其自身的一系列规化设计，没法对数据进展更高效的管理和读写操作，包括硬件能力的限制，这种问题更加突出。而NoSQL的优势在此就表达出来，具体如下几点： 易扩展 NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。 大数据量，高性能 NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的构造简单。一般MySQL使用Query Cache，每次表的更新Cache就失效，是一种大粒度的Cache，在针对web2.0的交互频繁的应用，Cache性能不高。而NoSQL的Cache是记录级的，是一种细粒度的Cache，所以NoSQL在这个层面上来说就要性能高很多了。 灵活的数据模型 NoSQL无需事先为要存储的数据建立字段，随时可以存储自定义的数据格式。而在关系数据库里，增删字段是一件非常麻烦的事情。如果是非常大数据量的表，增加字段简直就是一个噩梦。这点在大数据量的web2.0时代尤其明显。 高可用 NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比方Cassandra，HBase模型，通过复制模型也能实现高可用。 NoSQL数据库在以下的这几种情况下比拟适用 1、数据模型比拟简单； 2、需要灵活性更强的IT系统； 3、对数据库性能要求较高； 4、不需要高度的数据一致性； 5、对于给定key，比拟容易映射复杂值的环境。 在以上场景中采用NoSQL数据库会比获得更高的吞吐量。 NOSQL产品分类 键值存储 数据库 这一类数据库主要会使用到一个 哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对于IT系统来说的优势在于简单、易部署。如：TokyoCabinet/Tyrant, Redis, Voldemort, Oracle BDB,Memcached。 列存储数据库 这局部数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列。这些列是由列家族来安排的。如：Cassandra, HBase, Riak. 文档型数据库 文档型数据库的灵感是来自于Lotus Notes办公软件的，而且它同第一种键值存储相类似。该类型的数据模型是版本化的文档，半构造化的文档以特定的格式存储，比方JSON。文档型数据库可以看作是键值数据库的升级版，允许之间嵌套键值。而且文档型数据库比键值数据库的查询效率更高。如：CouchDB, MongoDb. 国也有文档型数据库SequoiaDB，已经开源。 图形数据库 图形构造的数据库同其他行列以及刚性构造的SQL数据库不同，它是使用灵活的图形模型，并且能够扩展到多个效劳器上。NoSQL数据库没有标准的查询语言(SQL)，因此进展数据库查询需要制定数据模型。许多NoSQL数据库都有REST式的数据接口或者查询API。如：Neo4J, InfoGrid, Infinite Graph。 RDBMS和NOSQ