高教社2026教学课件大数据处理-第2章 大数据存储基础.pptxVIP

大数据处理

2025春;目录;目录;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式存储系统介绍;2.1分布式系统CAP定理;2.1分布式系统CAP定理;数据1;分区容错性（P）是必选项

Partition即因网络因素将系统分隔为多个单独的部分

现实情况下分布式系统面对的是一个不可靠的网络、有一定概率宕机的设备

分布式系统工程实践，CAP理论更合适的描述是：在满足分区容错的前提下，没有算法能同时满足数据一致性和服务可用性

CA非0/1的选择

工程实践中一致性有不同程度，可用性也有不同等级

弱化数据一致性，提升可扩展性和可靠性：

序列一致性(sequentialconsistency)

最终一致性(eventualconsistency);2.1分布式系统CAP定理;2.1分布式系统CAP定理;2.1分布式系统CAP定理;2.1QuorumNWR算法;2.1QuorumNWR算法;2.1QuorumNWR算法;R，又称读一致性级别（ReadConsistencyLevel），表示读取一个数据对象时需要读R个副本，然后返回R个副本中最新的那份数据。;N、W、R值的不同组合，会产生不同的一致性效果：

当W+RN的时候，对于客户端来讲，整个系统能保证强一致性，一定能返回更新后的那份数据。

当W+RN的时候，对于客户端来讲，整个系统只能保证最终一致性，可能会返回旧数据。

如何设置N、W、R值，取决于我们想优化哪方面的性能。比如，N决定了副本的冗余备份能力；如果设置W=N，读性能比较好；如果设置R=N，写性能比较好；如果设置W=(N+1)/2、R=(N+1)/2，容错能力比较好，能容忍少数节点（也就是(N-1)/2）的故障。

;目录;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文??系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;2.2分布式文件系统;目录;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;Merkle树;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;2.3分布式键值系统;目录;2.4新型存储器件驱动的内存系统;74;2.4新型存储器件驱动的内存系统;2.4新型存储器件驱动的内存系统;2.4新型存储器件驱动的内存系统;内存计算的曙光:新型非易失存储介质;内存计算的曙光：新型存储介质SCM;SCM模糊了内外存的边界;Tapisdead,diskistap!----JimGray,Dec.2006;82;HP以内存为中心的“TheMachine”原型机

采用了非易失性存储技术—忆阻器

单机柜40个节点可共同分享160TB的内存资源，是当前世界上最大的单机内存计算系统

;84;85;86;挑战1：系统架构;挑战2：操作系统;挑战3：编程模型;挑战4：数据管理;2.4新型存储器件驱动的内存系统;2.4新型存储器件驱动的内存系统;2.4新型存储器件驱动的内存系统;2.4新型存储器件驱动的内存系统;本章小结;本章作业