基于大数据下NOSQL和Mysql融合数据存储模型研究.docVIP

基于大数据下NOSQL和Mysql融合数据存储模型研究 　　摘要：大数据作为一种重要的战略资产，已经不同程度地渗透到每个行业领域和部门，其深度应用不仅有助于企业经营活动，还有利于推动国民经济发展。而传统的关系数据库管理系统在大数据环境中已不堪重负，Nosql和关系数据库融合将是大数据发展的下一个趋势。 　　关键词：NOSQL 融合 存储模型 Mysql 　　中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2014）02-0096-01 　　1 引言 　　随着互联网的不断发展，各种类型的应用层出不穷，尤其在云计算时代，对数据存储提出了更新、更多的要求。关系数据库长期以来在数据存储方面占据了不可动摇的地位，但关系数据库有其扩展困难、读写慢、成本高、有限的支撑容量等天生的限制，在解决新的海量数据存储需求时，显得力不从心，于是推出了新类型的“NoSQL”数据类型，NOSQL可以弥补关系数据库在数据高并发地读写和海量数据存储的要求。 　　2 NOSQL与关系数据库融合的研究现状 　　在大数据迅猛发展的今天，从关系数据库到NOSQL数据库，有一个必不可少的环节，那就是数据的过度和迁移[1]。在数据迁移过程，需要对历史数据清洗、转换、并装载到新系统，在这过程中面临着人工、数据安全、运维等潜在的危险，在数据迁移后还面临着操作方式的转换等难题。NOSQL和关系数据库能融合的存储数据，企业和数据管理者就可以免去这一风险。 　　目前关于NOSQL与关系数据融合的研究已经有了一些成功，2011年Mysql关系数据库5.6.2版本推出了memcached功能，他可以使得开发人员更加方便使用NOSQL和关系数据库，可以直接在InnoDB之上提供NOSQL功能和Mysql共存。随后的第二年，Mysql又推出了HandlerSocket的出现，性能是Memcached的两倍时，速率居然可以达到750000qps。接着HandlerSocket成为NoSQL领域谈论的焦点之一，大量的人开始想要尝试，并做过一些自己的性能测试。 　　HandlerSocket可以直接提供NoSQL的功能，但是他没有和MYSQL一起发布，可以通过Percona-Server来使用。MySQL关系数据库目前很关注NOSQL领域的应用，在MySQL5.6.2版本中增加了Memcached协议，同时也支持文本和二进制协议，能更好处理Cache模式，省去开发过程中使用Memcached来缓存数据，并能更好的数据的可靠性和一致性。在开发过程中，程序员既可以高效的使用Memcashed协议来操作数据，同时也可以使用sql语句进行复制的查询操作，使得NoSQL和MySQL能有效的灵活的存储、查询数据。 　　3 NoSQL与MySQL融合的优势 　　NoSQL与关系数据库的融合，在大数据环境下对数据存储带来很大的优势。以Mysql的HandlerSocket为实例来说明。 　　支持大量的查询模式：HandlerSocket支持主键/唯一性查询，非唯一性索引查询，范围扫描，LIMIT和INSERT/UPDATE/DELETE，不支持未使用任何索引的操作，multi_get操作（类似于in（1，2，3））-通过单一网络往返获取多行数据-也是支持的。 　　可以处理大量并发连接：HandlerSocket连接是轻量级的，采用了epoll（）和工作线程/线程池架构，因此你可以建立上千或上万的网络连接，稳定性不会受到任何影响等。 　　极好的性能：HandlerSocket相对于其它NoSQL阵容性能表现一点也不逊色，HandlerSocket能在一台普通服务器上可以执行750000+次查询。 　　更小的网络数据包：HandlerSocket协议和传统MySQL协议相比更简单，更小，因此整个网络的流量也更小。 　　没有重复的缓存：采用HandlerSocket插件访问InnoDB存储引擎，记录可以缓存在InnoDB缓冲池中，这样其它SQL语句就可以重复使用它。 　　保证数据一致：由于数据只存储在一个地方（InnoDB内），不需要在Memcached和MySQL之间检查数据一致性。 　　崩溃安全：后端存储是InnoDB，它是事务性和崩溃安全的，即使你设置innodb-flush-log-at-trx-commit！=1，在服务器崩溃时也只会丢掉1秒内的数据。 　　可以从MySQL客户端使用SQL：在许多情况下，人们仍然希望使用SQL，HandlerSocket仅仅是一个MySQL插件，你可以从MySQL客户端发送SQL语句，当你需要高吞吐量时最好使用HandlerSocket协议。 　　MySQL所有操作都将受益：HandlerSocket在MySQ