(1.15)--大数据及其对数据存储和管理提出的新需求.pptVIP

8.1大数据及其对数据存储和管理提出的新需求8.1.1大数据的特征数据库应用和开发大数据时代 随着网民参与互联网产品和应用的程度越来越深，互联网将更加智能，互联网的数据量也将呈爆炸式增长大交易数据：来自电商的数据，包括B2B、B2C、C2C、团购等大交互数据：来自社交网络的数据，SNS、微博等两类数据的有效融合将是大势所趋，这种融合更能增强企业的商业洞察力大数据的特征3V——Volume（海量）、Variety（多样）、Velocity（实时）海量——数据量巨大，对TB、PB数据级的处理，已经成为基本配置。多样——处理多样性的数据类型，结构化数据和非结构化数据，能处理Web数据，能处理语音数据甚至是图像、视频数据。实时——在客户每次浏览页面，每次下订单的过程中都存在，都会需要对用户进行实时的推荐，决策已经变得实时

8.18.1.2大数据对数据存储和管理提出的新需求和关系数据库的应对方案数据库应用和开发随着新华网的一些应用对web2.0技术运用越来越多，传统的关系数据库在应付这些应用，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多如下难以克服的问题。? 需求：高并发、实时动态获取和更新数据。? 问题：数据库读写压力巨大，硬盘IO无法承受? 解决方案：Master-Slave（主从复制），主从分离，分库、分表，缓解写压力，增强读库的可扩展性大数据及其对数据存储和管理提出的新需求1.Highperformance–高并发读写的需求Web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息，所以基本上无法使用动态页面静态化技术，因此数据库并发负载非常高，往往要达到每秒上万次读写请求。关系数据库应付上万次SQL查询还勉强顶得住，但是应付上万次SQL写数据请求，硬盘IO就已经无法承受了。像网站的实时统计在线用户状态，记录热门帖子的点击次数，投票计数，积分等，因此这是一个相当普遍的需求。

8.18.1.2大数据对数据存储和管理提出的新需求和关系数据库的应对方案数据库应用和开发?需求：需要拥有快速横向扩展能力、提供7*24小时不间断服务。?问题：横向扩展艰难，无法通过快速增加服务器节点实现，系统升级和维护造成服务不可用，成本高?解决方案：Master-Slave，增强读库的可扩展性；MMM——Master-MasterReplicationManagerforMySQL。大数据及其对数据存储和管理提出的新需求2.HugeStorage–海量数据的高效率存储和访问的需求：类似新华网等SNS网站的一些应用，每天用户产生海量的用户动态，以总理访谈用新华微博为例，一个月可能达到了亿条用户信息，对于关系数据库来说，在一张亿条记录的表里面进行SQL查询，效率是极其低下乃至不可忍受的。再例如新华网的用户登录系统，所有的应用都是同一的登录系统，当用户账户达到一定程度。关系数据库也很难应付。3.HighScalabilityHighAvailability–高可扩展性和高可用性的需求：在基于web的架构当中，数据库是最难进行横向扩展的，当一个应用系统的用户量和访问量与日俱增的时候，你的数据库却没有办法像webserver和appserver那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说，对数据库系统进行升级和扩展是非常痛苦的事情，往往需要停机维护和数据迁移，为什么数据库不能通过不断的添加服务器节点来实现扩展呢？

8.18.1.2大数据对数据存储和管理提出的新需求和关系数据库的应对方案数据库应用和开发大数据及其对数据存储和管理提出的新需求4.解决方案的问题?分库分表缺点：（1）受业务规则影响，需求变动导致分库分表的维护复杂（2）系统数据访问层代码需要修改?Master-Slave缺点（1）Slave实时性的保障，对于实时性很高的场合可能需要做一些处理（2）高可用性问题，Master就是那个致命点，容易产生单点故障?MMM缺点本身扩展性差，一次只能一个Master可以写入，只能解决有限数据量下的可用性

8.18.1.3关系数据库应对大数据存储和管理存在的问题数据库应用和开发大数据及其对数据存储和管理提出的新需求关系数据库的优势关系数据库的不足之处1)数据一致性高。由于关系数据库具有较为严格的事务处理要求，它能够保持较高的数据一致性。2)数据存储的冗余度低。由于关系数据库是以规范化理论为前提，通常，相同字段只能保存一处，数据冗余