架构设计—高并发下的数据存储方案.docxVIP

架构设计—高并发下的数据存储方案 2021-05-17 数据存储，其实说的就是数据库，也就是在高并发的业务场景下，我们的数据库如何架构设计。 晓得有哪些数据库 关系型数据库 是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据，几句简约的SQL语句就能快速的实现小规模数据的读写、查询统计，对于程序猿来说真是爽歪歪呀。 MySQL 目前互联网企业基本都用它来做数据存储。情愿很简约，它是免费的，轻量级的，其他关系型数据库能做他他一样能做。用起来爽爽的。并且能基于Mycat的两头件的挂念，一样完成大规模数据的存储，满足高并发下的数据读写。关于MyCat，国内开源的项目，从它的版本更新方案，还是有很多让人值得期盼的地方。 Oracle 应当说是最好的关系数据库，容量大，数据平安。比如金融行业，实时买卖系统较多，在对数据的联机事务处理（OLTP）上也就要求很高。但做大规模的数据存储，扩展性不好且价格昂贵。 SQL Server 假如还有人在用SQL Server，说明这个企业的信息化水平很Low。SQL Server几乎没人在用了。 大数据 NoSQL数据库 也叫是“Not Only Sql”，指的是非关系型的数据库。这类数据库次要有这些特点：非关系型的、分布式、开源的、水平可扩展的。 memcached-临时性键值存储 是一个自在开源的，高功能，分布式内存对象缓存系统。数据全部放在内存中，在架构设计中使用memcached能削减对磁盘数据的读写操作。 比如可以提高用户对空节点数据查询的功能，页面上查不到数据，用户还在狂点，我不行能不停的查边系统中的每个节点。需要对空节点数据进行缓存。 还有一个就是削减对数据库的读写，比如对查询命中率很高的能否做缓存。对写操作能否所队列缓存。人家是对象缓存系统，所以啥对象都 是可以放的。 Redis-永久性键值存储 Redis和memcached在功能上发挥的作用和使用场景基本是一样的。只是Redis更像是一个对象数据库，它不只做内存对象缓存，还可以做对象磁盘缓存。也就是最终的数据是被放到了磁盘上的。功能上比memcached要丰富一些，在企业中Redis用的更多一些。 MongoDB面对文档的数据库 轻量的分布式文件存储系统，MongoDB的功能很强大，在大规模数据的读写方面不亚于HBASE。MongoDB对数据的存储是透亮?????的。现在一般企业通过MongoDB存一下非格式的文件，比如图片，视频，各种文件等。MongoDB在数据查询上比HBase方面，但在数据分析处理上不及HBase。 HBase面对列的数据库 面对列的新型的数据存储方式，这也是HBase在超大规模数据量中能毫秒级读写数据的缘由。超大的什么级别呢，“This project’s goal is the hosting of very large tables?—?billions of rows X millions of columns，billions of rows X millions of columns”一个表的数据能支持的数据结构是上亿行 乘以 百万列，这是HBase官方的描述。也就是说你一个HBase表没有上亿条数据，都对不起使用HBase。牛逼吧。哈哈。之前我们卡弗卡大数据课堂的一个同学亲身测过，的确可能达到上亿行 乘以 百万列的这个结构。 虽然HBase的维护成本比较高，但在数据分析上妥妥的，由于他是基于HDFS的，跟MapReduce、Hive、spark等都能很好的整合，达到数据的计算分析。 大数据 关系型数据库特点 优点： 保持数据的全都性 可以进行简单查询，操作简约。 通用并且技术成熟。 缺点: 数据读写必需经过sql解析，大量数据高并发下读写功能不足。 对数据做读写，或修改数据结构时需要加锁，影响并发操作。 无法顺应非结构化存储。 扩展困难。 昂贵、简单。 NoSQL数据库的特点 优点： 高并发，大数据下读写力量较强。 基本支持分布式，易于扩展，可伸缩。 简约，弱结构化存储。 缺点: 不能操作简单的查询。 事务支持较弱。 大数据 理解分布式系统的CAP理论 前面我们说了关系型数据库和NoSQL数据库的品种以及他们的特点。如何能很好的在实际项目中的合理的应用，我们应当要了解CAP理论。 CAP的含义是Consistency, Availability, Partition-tolerance也就是全都性、可用性以及分区容错性。 Consistency：全都性（C） Availability：可用性（A） Partition tolerance：分区容错性（P） 全都性在多并发访问更新过的数据时，供应应用户的数据能否全都。对于关系型数据库，要求更新过的数据能